Bakalářská práce

Implementing Filtering Techniques in Learned Metric Index for Indexing Large Datasets

Jan Mach
Anotace

V poslední době pozorujeme enormní nárůst objemu nestrukturovaných dat. Jejich efektivní využití závisí na technikách, které umožňují indexovat a následně vyhledávat v těchto datech. Nedávno byla představena indexační stromová struktura Learned Metric Index, využívající modelů strojového učení. Struktura využívá pravděpodobnostní predikce modelů k rychlé navigaci a určení relevantních listových uzlů …více

Abstract

Lately, we have seen a huge increase in the volume of unstructured data. Its effective use depends on techniques that allow indexing and subsequent searching of this data. Recently, a tree indexing structure using machine learning models has been introduced, the Learned Metric Index. The structure uses probabilistic prediction models to quickly navigate and identify relevant leaf nodes to visit. In …více

Zadání práce
This thesis investigates the applicability of bucket-level filtering techniques in Learned Metric Index. The student will conduct a literature review to understand existing approximate nearest neighbor approaches and other techniques designed to reduce the overhead of linear search, e.g., inverted files, Hierarchical Navigable Small World, or sketches. Appropriate techniques will be experimentally evaluated, and the most promising one will be incorporated into the existing Learned Metric Index codebase. The improved Learned Metric Index will be compared in terms of effectiveness and efficiency with the existing implementation on a subset of embeddings from the LAION-5B image collection to demonstrate its viability on real-world datasets.
Práce zkontrolována:
23. 5. 2024 16:52, RNDr. David Procházka, učo 485104
Jazyk práce
angličtina angličtina
Termín obhajoby
25. 6. 2024
Práce byla úspěšně obhájena

Vedoucí

RNDr. David Procházka, učo 485104
KSUZD FI MU

Oponent

doc. RNDr. Vlastislav Dohnal, Ph.D., učo 2952
KSUZD FI MU

Konzultant

RNDr. Terézia Slanináková, Ph.D., učo 445526
KSUZD FI MU

Masarykova univerzita Fakulta informatiky
Studijní program
Plán
Informatika

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.
  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.
  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.
  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.
  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.