Bakalářská práce

Private LLM for querying internal documentation and knowledge base

Jakub Medovič
Anotace

Tato práce představuje návrh, implementaci a vyhodnocení soukromého chatbota pomocí velkého jazykového modelu (LLM) pro společnost Adacta s cílem umožnit bezpečné a efektivní dotazování na jejich interní dokumentaci. Aby se vyřešily obavy týkající se ochrany osobních údajů související s veřejnými LLM, byl implementováno řešení pomocí Retrieval-Augmented Generation (RAG) využívající lokálně hostovaných …více

Abstract

This thesis presents the design, implementation, and evaluation of a private large language model (LLM) chatbot for the Adacta company, aimed at enabling secure and efficient querying of their internal documentation. To address data privacy concerns associated with public LLMs, a Retrieval-Augmented Generation (RAG) pipeline was implemented using locally hosted components, including LMStudio, ChromaDB …více

Klíčová slova
Large Language Models (LLMs) Retrieval Augmented Generation (RAG) Embedding Reranking Secure Documentation Search Internal Knowledge Retrieval
Zadání práce
Large Language Models (LLMs) are being rapidly applied in different domains, but training publicly available LLM tools and services to provide answers from private documentation and knowledge bases is still technically and legally problematic. Fortunately, it is possible to set up a private LLM model, train it on private documentation and knowledge base articles, and create a chatbot (e.g., Scrapalot chat) backed by this LLM model. This thesis aims to evaluate available LLM models (e.g., gpt-35-turbo-16k) which can be used in a local cloud infrastructure, select one of them based on the performance data and stakeholders requirements, and implement a chatbot with the selected model for Adacta's internal documentation.

This thesis is done in collaboration with the Adacta company.
Administrativní informace
Práce zkontrolována:
24. 5. 2025 23:59, doc. Bruno Rossi, PhD, učo 232464
Plný text práce
1,1 MB / soubor PDF
Přílohy (2)
Jazyk práce
angličtina angličtina
Termín obhajoby
24. 6. 2025
Práce byla úspěšně obhájena

Vedoucí

doc. Bruno Rossi, PhD, učo 232464
KPSK FI MU

Oponent

Mgr. Pavel Urbanovský
Adacta

Konzultant

Ing. Štěpán Kuchař, Ph.D.
Adacta
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Plán
Programování a vývoj aplikací

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.