Diplomová práce

Automating Event Stream Definition in Kafka Ecosystem Using Large Language Models

Bc. Patrik Szabó
Anotace

Cieľom tejto diplomovej práce je nakonfigurovať a integrovať existujúci LLM tak, aby dokázal interpretovať požiadavky v prirodzenom jazyku a prekladať ich do úprav v rámci Apache Kafka klastru. Táto úloha zahŕňa využitie LLM na presné porozumenie ľudského jazyka v kontexte konfiguračných úloh systému. Zároveň ide o mapovanie takto interpretovaných požiadaviek na platformu typu event hub, ktorá riadi …více

Abstract

The objective of this thesis is to configure and integrate an existing Large Language Model (LLM) to interpret natural language requests and translate them into modifications within an Apache Kafka cluster. This task involves utilizing a LLM to accurately interpret human language in the context of system configuration tasks. Additionally, it includes mapping these interpreted requests to an …více

Zadání práce

The objective of this thesis is to configure and integrate an existing Large Language Model (LLM) to interpret natural language requests and translate them into modifications within an Apache Kafka cluster.

This task involves utilizing a LLM to accurately interpret human language in the context of system configuration tasks. Additionally, it includes mapping these interpreted requests to an event hub platform that manages data stream topology and generates corresponding configuration changes.

The system will autonomously transform user requests into event stream configuration representations, apply the necessary modifications to the Kafka cluster, and submit the resulting changes as merge requests to a Git repository that maintains the current state of the deployed Kafka artifacts.

The goal of this thesis is to improve the end-to-end integration of the LLM with Apache Kafka, with a particular focus on managing active data streams. The aim is to establish a seamless and reliable workflow that automates processes and minimizes the need for manual intervention. Conducted in collaboration with SOFTEC spol. s r.o., this work aims to deliver a practical, scalable solution for event-driven system management in alignment with industry standards.

Práce zkontrolována:
29. 5. 2025 13:04, RNDr. Mgr. Jaroslav Bayer, učo 72873
Jazyk práce
angličtina angličtina
Termín obhajoby
19. 6. 2025
Práce byla úspěšně obhájena

Vedoucí

RNDr. Mgr. Jaroslav Bayer, učo 72873
CVT FI MU

Oponent

RNDr. Ing. Lucie Pekárková, učo 60555
CVT FI MU

Literatura

  • Apache Kafka. Edited by Nishant Garg. 1 online r. ISBN 9781782167938.
  • TOMAŇOVÁ, Lucie. Role LLM ve vědeckém publikování. In AI revoluce: umělá inteligence jako příležitost i hrozba pro společnost. 2023.
  • HARAŠTA, Jakub; Tereza NOVOTNÁ a Jaromír ŠAVELKA. It Cannot Be Right If It Was Written by AI: On Lawyers' Preferences of Documents Perceived as Authored by an LLM vs a Human. Artificial Intelligence and Law. Springer Netherlands, 2024, roč. 34, č. 2026, s. 153-190. ISSN 0924-8463. Dostupné z: https://doi.org/10.1007/s10506-024-09422-w.
  • ZELINA, Petr. From Examples to Patterns: LLM-Generated Reg-ular Expressions for Entity Extraction in Czech Clinical Texts. In Horák, Aleš and Rychlý, Pavel and Rambousek, Adam. Proceedings of the Eighteenth Workshop on Recent Advances in Slavonic Natural Languages Processing, RASLAN 2024. Brno: Tribun EU, 2024, s. 3-16. ISBN 978-80-263-1835-4.

Masarykova univerzita Fakulta informatiky
Studijní program
Plán
Návrh a vývoj softwarových systémů
  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.
  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.
  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.
  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.
  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.