Závěrečná práce: Bc. Daniel Němec, učo 493000: Srovnání zpracování logů z buildování RPM balíčků pomocí více LLM
Diplomová práce
Srovnání zpracování logů z buildování RPM balíčků pomocí více LLM
Benchmarking Multiple LLMs for Processing RPM Build Logs
Anotace
Práce se zabývá komparativním vyhodnocením velkých jazykových modelů (LLM) při analýze neúspěšných build logů z procesu sestavování RPM balíčků. Cílem je objektivně posoudit jejich schopnost identifikovat příčinu selhání, formulovat kvalitní a fakticky správné vysvětlení a navrhnout vhodné řešení. Součástí práce je definice evaluační metodiky kombinující referenční (ROUGE-L, BERTScore) i bezreferenční …více
Abstract
The thesis focuses on a comparative evaluation of large language models (LLMs) in the analysis of failed build logs from the RPM package build process. The objective is to objectively assess their ability to identify the root cause of failures, formulate high-quality and factually correct explanations, and propose appropriate solutions. The work includes the definition of an evaluation methodology …více
Zadání práce
Předmětem práce je srovnání kvality výstupů jazykových modelů (LLM) zpracovávajících záznamy událostí (logy), které vznikají během stavění (buildů) programových balíčků typu RPM. Student vybere několik LLM, případně rozsáhlejších systémů, které zahrnují LLM jako hlavní komponentu, a porovná jejich analýzu logu získaného ze selhávajícího buildu RPM.
Srovnání bude provedeno z hlediska přesnosti určení chyby, přesnosti popisu obsahu logu, vhodnosti doporučeného řešení, bezpečnosti nástroje a rychlosti získané odpovědi. V případě využití placené služby bude součástí srovnání také cena analýzy.
Je třeba zdůraznit, že logy aplikací se výrazně liší od běžného textu a je pravděpodobné, že generické modely během svého trénování neměly k dispozici dostatek těchto specifických dat. To může významně ovlivnit kvalitu jejich výstupů a je vhodné tuto skutečnost do hodnocení zahrnout. Student se pokusí navrhnout vhodné předzpracování vstupu, když si s ním LLM nepodaří dostatečne.
Celkové srovnání využije metody vícekriteriální analýzy variant a vyústí v doporučení nejvhodnějšího nástroje pro další použití v praxi. A to s ohledem na rozsah nasazení, kterým je linuxová distribuce.
19. 12. 2025 15:42, Mgr. Marek Grác, Ph.D., učo 50728
Konzultant
Red Hat Czech
Práce na příbuzné téma
Seznam prací, které mají shodná klíčová slova.
-
Benchmarking of unit tests generated by LLM
Mgr. Dominik Tuchyňa -
Analýza činnosti organizací zabývajících se pobytem v přírodě
Mgr. Lukáš Gabriel -
Large Language Models for Social Robot Communication
Bc. Filip Brzý -
Transformace vyhledávacích dotazů pomocí LLM
Bc. Michael Škor, učo 485159 -
Analysis of use of AI systems in writing final theses at FI MU
Ing. David Černý -
Towards few-example clinical note element recognition
RNDr. Petr Zelina, učo 469366 -
Formulace statistických příkladů a projektů v éře generativní umělé inteligence
Bc. Lenka Šoltésová -
Virtuallab AI Agenti
Bc. Jakub Balog




