Diplomová práce

Srovnání zpracování logů z buildování RPM balíčků pomocí více LLM

Benchmarking Multiple LLMs for Processing RPM Build Logs

Bc. Daniel Němec, učo 493000
Anotace

Práce se zabývá komparativním vyhodnocením velkých jazykových modelů (LLM) při analýze neúspěšných build logů z procesu sestavování RPM balíčků. Cílem je objektivně posoudit jejich schopnost identifikovat příčinu selhání, formulovat kvalitní a fakticky správné vysvětlení a navrhnout vhodné řešení. Součástí práce je definice evaluační metodiky kombinující referenční (ROUGE-L, BERTScore) i bezreferenční …více

Abstract

The thesis focuses on a comparative evaluation of large language models (LLMs) in the analysis of failed build logs from the RPM package build process. The objective is to objectively assess their ability to identify the root cause of failures, formulate high-quality and factually correct explanations, and propose appropriate solutions. The work includes the definition of an evaluation methodology …více

Zadání práce

Předmětem práce je srovnání kvality výstupů jazykových modelů (LLM) zpracovávajících záznamy událostí (logy), které vznikají během stavění (buildů) programových balíčků typu RPM. Student vybere několik LLM, případně rozsáhlejších systémů, které zahrnují LLM jako hlavní komponentu, a porovná jejich analýzu logu získaného ze selhávajícího buildu RPM.

Srovnání bude provedeno z hlediska přesnosti určení chyby, přesnosti popisu obsahu logu, vhodnosti doporučeného řešení, bezpečnosti nástroje a rychlosti získané odpovědi. V případě využití placené služby bude součástí srovnání také cena analýzy.

Je třeba zdůraznit, že logy aplikací se výrazně liší od běžného textu a je pravděpodobné, že generické modely během svého trénování neměly k dispozici dostatek těchto specifických dat. To může významně ovlivnit kvalitu jejich výstupů a je vhodné tuto skutečnost do hodnocení zahrnout. Student se pokusí navrhnout vhodné předzpracování vstupu, když si s ním LLM nepodaří dostatečne. 

Celkové srovnání využije metody vícekriteriální analýzy variant a vyústí v doporučení nejvhodnějšího nástroje pro další použití v praxi. A to s ohledem na rozsah nasazení, kterým je linuxová distribuce. 

Práce zkontrolována:
19. 12. 2025 15:42, Mgr. Marek Grác, Ph.D., učo 50728
Jazyk práce
čeština čeština
Termín obhajoby
29. 1. 2026
Práce byla úspěšně obhájena

Vedoucí

Mgr. Marek Grác, Ph.D., učo 50728
ÚČJ FF MU

Oponent

RNDr. Vladimír Kadlec, Ph.D.
abs FI MU

Konzultant

Jiří Podivín
Red Hat Czech

Masarykova univerzita Fakulta informatiky
Studijní program
Plán
Návrh a vývoj softwarových systémů
  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.
  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.
  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.
  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.
  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.