Bakalářská práce

Enhancing Performance of Learned Metric Index for Indexing Large Datasets

Jozef Čerňanský
Anotace

Skúmame existujúcu implementáciu Learned Metric Index a jej výkonnostné charakteristiky, pričom pozorujeme niekoľko čŕt, ktoré obmedzujú jej účinnosť. V reakcii na to navrhujeme kľúčové koncepčné pokroky a vylepšenia výkonu v procesoch a vyhľadávania. Konkrétne je proces konštrukcie prepracovaný tak, aby zahŕňal schému odberu vzorky a existujúci algoritmus zhlukovania je nahradený vhodnejšou alternatívou …více

Abstract

We study the existing implementation of the Learned Metric Index and its performance characteristics, observing several features that limit its efficiency. In response, we propose key conceptual improvements and performance enhancements in the construction and search processes. Specifically, the construction process is redesigned to include a sampling scheme and the existing clustering algorithm is …více

Zadání práce
This thesis investigates the performance characteristics of the Learned Metric Index (LMI) for efficient vector retrieval, focusing on improving its construction speed and search performance. The student will conduct a literature review to understand what performance optimizations are used in other existing indexes for this purpose. The student will systematically analyze the existing LMI implementation and determine its primary performance limitations. The student will consider using numba, a just-in-time compiler, to speed up code execution, implementing multithreading for parallel query processing, using an automatic hyperparameter selection framework called Optuna, and training the model only on a sample instead of the full dataset. The refined implementation will be evaluated against the original version on a subset of embeddings from the LAION-5B image collection.
Práce zkontrolována:
20. 12. 2024 11:59, RNDr. David Procházka, učo 485104
Jazyk práce
angličtina angličtina
Termín obhajoby
5. 2. 2025
Práce byla úspěšně obhájena

Vedoucí

RNDr. David Procházka, učo 485104
KSUZD FI MU

Oponent

RNDr. Michal Batko, Ph.D., učo 2907
KSUZD FI MU

Literatura

  • ANTOL, Matej; Jaroslav OĽHA; Terézia SLANINÁKOVÁ a Vlastislav DOHNAL. Learned metric index - proposition of learned indexing for unstructured data. Information Systems. Elsevier, 2021, roč. 100, č. 101774, s. 1-12. ISSN 0306-4379. Dostupné z: https://doi.org/10.1016/j.is.2021.101774.

Masarykova univerzita Fakulta informatiky
Studijní program
Plán
Informatika
  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.
  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.
  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.
  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.
  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.