Detailed Information on Publication Record
2023
Reproducible experiments with Learned Metric Index Framework
SLANINÁKOVÁ, Terézia, Matej ANTOL, Jaroslav OĽHA, Vlastislav DOHNAL, Susana LADRA et. al.Basic information
Original name
Reproducible experiments with Learned Metric Index Framework
Authors
SLANINÁKOVÁ, Terézia (703 Slovakia, belonging to the institution), Matej ANTOL (703 Slovakia, belonging to the institution), Jaroslav OĽHA (703 Slovakia, belonging to the institution), Vlastislav DOHNAL (203 Czech Republic, guarantor, belonging to the institution), Susana LADRA (724 Spain) and Miguel A. MARTÍNEZ-PRIETO (724 Spain)
Edition
Information systems, Elsevier, 2023, 0306-4379
Other information
Language
English
Type of outcome
Článek v odborném periodiku
Field of Study
20206 Computer hardware and architecture
Country of publisher
Netherlands
Confidentiality degree
není předmětem státního či obchodního tajemství
References:
Impact factor
Impact factor: 3.700 in 2022
RIV identification code
RIV/00216224:14330/23:00131386
Organization unit
Faculty of Informatics
UT WoS
001050259000001
Keywords (in Czech)
Reprodukovatelný výzkum;Indexové struktury;Naučený index;Nestrukturovaná data;Vyhledávání založené na obsahu;Metrický prostor
Keywords in English
Reproducible paper;Index structures;Learned index;Unstructured data;Content-based search;Metric space
Tags
Tags
International impact, Reviewed
Změněno: 23/10/2024 14:59, RNDr. Terézia Slanináková
V originále
This work is a companion reproducible paper of a previous paper (Antol et al., 2021) in which we presented an alternative to the traditional paradigm of similarity searching in metric spaces called the Learned Metric Index. Inspired by the advance in learned indexing of structured data, we used machine learning models to replace index pivots, thus posing similarity search as a classification problem. This implementation proved to be more than competitive with the conventional methods in terms of speed and recall, proving the concept as viable. The aim of this publication is to make our source code, datasets, and experiments publicly available. For this purpose, we create a collection of Python3 software libraries, YAML reproducible experiment files, and JSON ground-truth files, all bundled in a Docker image – the Learned Metric Index Framework (LMIF) – which can be run using any Docker-compatible operating system on a CPU with Advanced vector extensions (AVX). We introduce a reproducibility protocol for our experiments using LMIF and provide a closer look at the experimental process. We introduce new experimental results by running the reproducibility protocol introduced herein and discussing the differences with the results reported in our primary work (Antol et al., 2021). Finally, we make an argument that these results can be considered weakly reproducible (in both of the performance metrics), since they point to the same conclusions derived in the primary paper.
In Czech
Tato práce je doprovodným reprodukovatelným článkem předchozího článku (Antol a kol., 2021), ve kterém jsme představili alternativu k tradičnímu paradigmatu vyhledávání podobnosti v metrických prostorech nazvanou Learned Metric Index. Inspirováni pokrokem v naučeném indexování strukturovaných dat jsme použili modely strojového učení, které nahradily rozhodování v podobnostním indexu pomocí pivotů, a postavili tak vyhledávání podle podobnosti jako klasifikační problém. Tato implementace se ukázala být více než konkurenceschopná s konvenčními metodami, pokud jde o rychlost a úplnost odpovědi, což dokazuje, že tento koncept je životaschopný. Cílem této publikace je zveřejnit náš zdrojový kód, datové sady a experimenty. Za tímto účelem vytváříme kolekci softwarových knihoven pro Python3, reprodukovatelných experimentálních souborů YAML a základních souborů JSON, které jsou sdruženy v obrazu Docker - Learned Metric Index Framework (LMIF) - který lze spustit pomocí libovolného operačního systému kompatibilního s Dockerem na procesoru s pokročilými vektorovými rozšířeními (AVX). Představujeme protokol reprodukovatelnosti našich experimentů s využitím LMIF a poskytujeme bližší pohled na experimentální proces. Dále představujeme nové experimentální výsledky spuštěním zde zavedeného protokolu reprodukovatelnosti a diskutujeme rozdíly s výsledky uvedenými v naší primární práci (Antol et al., 2021). Nakonec předkládáme argument, že tyto výsledky lze považovat za slabě reprodukovatelné (v obou metrikách výkonnosti), protože poukazují na stejné závěry odvozené v primární práci. [Překlad s pomocí deepl.com]
Links
| EF16_019/0000822, research and development project |
| ||
| GF23-07040K, research and development project |
| ||
| LM2018140, research and development project |
| ||
| MUNI/A/1339/2022, interní kód MU |
| ||
| MUNI/A/1590/2023, interní kód MU |
|