Bachelor's thesis

Implementing Filtering Techniques in Learned Metric Index for Indexing Large Datasets

Jan Mach
Abstract

V poslední době pozorujeme enormní nárůst objemu nestrukturovaných dat. Jejich efektivní využití závisí na technikách, které umožňují indexovat a následně vyhledávat v těchto datech. Nedávno byla představena indexační stromová struktura Learned Metric Index, využívající modelů strojového učení. Struktura využívá pravděpodobnostní predikce modelů k rychlé navigaci a určení relevantních listových uzlů …more

Abstract

Lately, we have seen a huge increase in the volume of unstructured data. Its effective use depends on techniques that allow indexing and subsequent searching of this data. Recently, a tree indexing structure using machine learning models has been introduced, the Learned Metric Index. The structure uses probabilistic prediction models to quickly navigate and identify relevant leaf nodes to visit. In …more

Keywords
similarity searching approximate similarity searching indexing filtering learned index nearest neighbor query learned metric index
Thesis description
This thesis investigates the applicability of bucket-level filtering techniques in Learned Metric Index. The student will conduct a literature review to understand existing approximate nearest neighbor approaches and other techniques designed to reduce the overhead of linear search, e.g., inverted files, Hierarchical Navigable Small World, or sketches. Appropriate techniques will be experimentally evaluated, and the most promising one will be incorporated into the existing Learned Metric Index codebase. The improved Learned Metric Index will be compared in terms of effectiveness and efficiency with the existing implementation on a subset of embeddings from the LAION-5B image collection to demonstrate its viability on real-world datasets.
Administrative information
The thesis has been checked:
23/5/2024 16:52, RNDr. David Procházka, UČO 485104
Full text of thesis
4,1 MB / file PDF
Attachments (1)
Language used
English English
Defence date
25/6/2024
The thesis was defended successfully

Supervisor

RNDr. David Procházka, UČO 485104
KSUZD FI MU

Reader

doc. RNDr. Vlastislav Dohnal, Ph.D., UČO 2952
KSUZD FI MU

Consultant

RNDr. Terézia Slanináková, Ph.D., UČO 445526
KSUZD FI MU
Cite this text
Masaryk University Faculty of Informatics
Programme
Plan
Informatics

Theses on a related topic

List of theses with an identical keyword.

Similar documents

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.