Diplomová práce

Chunking Strategies for the .NET Ecosystem

Bc. Kryštof Suchánek
Anotace

Chunking, vyskytující se také pod názvem segmentace textu je fundamentální technika ve zpracování přirozeného jazyka a také klíčová komponenta zpracování dokumentu v RAG (Retrieval-Augmented Generation) systémech. Cílem této diplomové práce je zmapování existujících metod chunkingu a jejich používaných implementací. Na základě tohoto přehledu implementovat a otestovat výběr chukovacích metod a dát …více

Abstract

Chunking, also known as text segmentation, is a fundamental technique in Natural Language Processing and a key component for document ingestion in Retrieval-Augmented Generation. This thesis aims to provide an overview of existing chunking methods and their widely used implementations. Based on this framework, implement and test a selection of chunking methods. And to give recommendations on what methods …více

Klíčová slova
C#/.NET text segmentation NLP Retrieval-Augmented Generation LLM
Zadání práce
Text segmentation also known as text chunking is the process of dividing written text into meaningful units. It is a fundamental component of various artificial intelligence (AI) document processing tasks, particularly in Retrieval-Augmented Generation (RAG) systems, where model context length is limited.
The objectives of this thesis are to:
  • Provide a comprehensive overview of widely used text segmentation methods and their popular implementations. As well as current state-of-the-art methods that are not yet widely adopted.
  • Implement selected segmentation techniques to be tightly integrated with newly created document processing types to provide a set of low-level building blocks for document ingestion in .NET.
  • Test the implementation with various document types and provide guidelines on when each method should be used.
This thesis will be done in cooperation with Microsoft.
Administrativní informace
Práce zkontrolována:
18. 12. 2025 00:02, doc. Bruno Rossi, PhD, učo 232464
Plný text práce
1,5 MB / soubor PDF
Přílohy (1)
Jazyk práce
angličtina angličtina
Termín obhajoby
30. 1. 2026
Práce byla úspěšně obhájena

Vedoucí

doc. Bruno Rossi, PhD, učo 232464
KPSK FI MU

Oponent

Diego Colombo, PhD
Microsoft

Konzultant

Ing. Adam Sitnik
Microsoft
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Plán
Smart Service Design a Systems Thinking

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.