2023
Reproducible experiments with Learned Metric Index Framework
SLANINÁKOVÁ, Terézia, Matej ANTOL, Jaroslav OĽHA, Vlastislav DOHNAL, Susana LADRA et. al.Základní údaje
Originální název
Reproducible experiments with Learned Metric Index Framework
Autoři
SLANINÁKOVÁ, Terézia (703 Slovensko, domácí), Matej ANTOL (703 Slovensko, domácí), Jaroslav OĽHA (703 Slovensko, domácí), Vlastislav DOHNAL (203 Česká republika, garant, domácí), Susana LADRA (724 Španělsko) a Miguel A. MARTÍNEZ-PRIETO (724 Španělsko)
Vydání
Information systems, Elsevier, 2023, 0306-4379
Další údaje
Jazyk
angličtina
Typ výsledku
Článek v odborném periodiku
Obor
20206 Computer hardware and architecture
Stát vydavatele
Nizozemské království
Utajení
není předmětem státního či obchodního tajemství
Odkazy
Impakt faktor
Impact factor: 3.700 v roce 2022
Kód RIV
RIV/00216224:14330/23:00131386
Organizační jednotka
Fakulta informatiky
UT WoS
001050259000001
Klíčová slova česky
Reprodukovatelný výzkum;Indexové struktury;Naučený index;Nestrukturovaná data;Vyhledávání založené na obsahu;Metrický prostor
Klíčová slova anglicky
Reproducible paper;Index structures;Learned index;Unstructured data;Content-based search;Metric space
Štítky
Příznaky
Mezinárodní význam, Recenzováno
Změněno: 7. 4. 2024 23:08, RNDr. Pavel Šmerk, Ph.D.
V originále
This work is a companion reproducible paper of a previous paper (Antol et al., 2021) in which we presented an alternative to the traditional paradigm of similarity searching in metric spaces called the Learned Metric Index. Inspired by the advance in learned indexing of structured data, we used machine learning models to replace index pivots, thus posing similarity search as a classification problem. This implementation proved to be more than competitive with the conventional methods in terms of speed and recall, proving the concept as viable. The aim of this publication is to make our source code, datasets, and experiments publicly available. For this purpose, we create a collection of Python3 software libraries, YAML reproducible experiment files, and JSON ground-truth files, all bundled in a Docker image – the Learned Metric Index Framework (LMIF) – which can be run using any Docker-compatible operating system on a CPU with Advanced vector extensions (AVX). We introduce a reproducibility protocol for our experiments using LMIF and provide a closer look at the experimental process. We introduce new experimental results by running the reproducibility protocol introduced herein and discussing the differences with the results reported in our primary work (Antol et al., 2021). Finally, we make an argument that these results can be considered weakly reproducible (in both of the performance metrics), since they point to the same conclusions derived in the primary paper.
Česky
Tato práce je doprovodným reprodukovatelným článkem předchozího článku (Antol a kol., 2021), ve kterém jsme představili alternativu k tradičnímu paradigmatu vyhledávání podobnosti v metrických prostorech nazvanou Learned Metric Index. Inspirováni pokrokem v naučeném indexování strukturovaných dat jsme použili modely strojového učení, které nahradily rozhodování v podobnostním indexu pomocí pivotů, a postavili tak vyhledávání podle podobnosti jako klasifikační problém. Tato implementace se ukázala být více než konkurenceschopná s konvenčními metodami, pokud jde o rychlost a úplnost odpovědi, což dokazuje, že tento koncept je životaschopný. Cílem této publikace je zveřejnit náš zdrojový kód, datové sady a experimenty. Za tímto účelem vytváříme kolekci softwarových knihoven pro Python3, reprodukovatelných experimentálních souborů YAML a základních souborů JSON, které jsou sdruženy v obrazu Docker - Learned Metric Index Framework (LMIF) - který lze spustit pomocí libovolného operačního systému kompatibilního s Dockerem na procesoru s pokročilými vektorovými rozšířeními (AVX). Představujeme protokol reprodukovatelnosti našich experimentů s využitím LMIF a poskytujeme bližší pohled na experimentální proces. Dále představujeme nové experimentální výsledky spuštěním zde zavedeného protokolu reprodukovatelnosti a diskutujeme rozdíly s výsledky uvedenými v naší primární práci (Antol et al., 2021). Nakonec předkládáme argument, že tyto výsledky lze považovat za slabě reprodukovatelné (v obou metrikách výkonnosti), protože poukazují na stejné závěry odvozené v primární práci. [Překlad s pomocí deepl.com]
Návaznosti
| EF16_019/0000822, projekt VaV |
| ||
| GF23-07040K, projekt VaV |
| ||
| LM2018140, projekt VaV |
| ||
| MUNI/A/1339/2022, interní kód MU |
|