Reproducible experiments with Learned Metric Index Framework

SLANINÁKOVÁ, Terézia, Matej ANTOL, Jaroslav OĽHA, Vlastislav DOHNAL, Susana LADRA and Miguel A. MARTÍNEZ-PRIETO. Reproducible experiments with Learned Metric Index Framework. Information systems. Elsevier, 2023, vol. 118, No 1, p. 102255-102270. ISSN 0306-4379. Available from: https://dx.doi.org/10.1016/j.is.2023.102255.

Basic information

• Original name: Reproducible experiments with Learned Metric Index Framework
• Authors: SLANINÁKOVÁ, Terézia (703 Slovakia, belonging to the institution), Matej ANTOL (703 Slovakia, belonging to the institution), Jaroslav OĽHA (703 Slovakia, belonging to the institution), Vlastislav DOHNAL (203 Czech Republic, guarantor, belonging to the institution), Susana LADRA (724 Spain) and Miguel A. MARTÍNEZ-PRIETO (724 Spain).
• Edition: Information systems, Elsevier, 2023, 0306-4379.

Other information

• Original language: English
• Type of outcome: Article in a journal
• Field of Study: 20206 Computer hardware and architecture
• Country of publisher: Netherlands
• Confidentiality degree: is not subject to a state or trade secret
• WWW: URL
• Impact factor: Impact factor: 3.700 in 2022
• RIV identification code: RIV/00216224:14330/23:00131386
• Organization unit: Faculty of Informatics
• Doi: http://dx.doi.org/10.1016/j.is.2023.102255
• UT WoS: 001050259000001
• Keywords (in Czech): Reprodukovatelný výzkum;Indexové struktury;Naučený index;Nestrukturovaná data;Vyhledávání založené na obsahu;Metrický prostor
• Keywords in English: Reproducible paper;Index structures;Learned index;Unstructured data;Content-based search;Metric space
• Tags: approximate search, content-based retrieval, DISA, index structure, learned index, LMI, performance evaluation
• Tags: International impact, Reviewed

Abstract

This work is a companion reproducible paper of a previous paper (Antol et al., 2021) in which we presented an alternative to the traditional paradigm of similarity searching in metric spaces called the Learned Metric Index. Inspired by the advance in learned indexing of structured data, we used machine learning models to replace index pivots, thus posing similarity search as a classification problem. This implementation proved to be more than competitive with the conventional methods in terms of speed and recall, proving the concept as viable. The aim of this publication is to make our source code, datasets, and experiments publicly available. For this purpose, we create a collection of Python3 software libraries, YAML reproducible experiment files, and JSON ground-truth files, all bundled in a Docker image – the Learned Metric Index Framework (LMIF) – which can be run using any Docker-compatible operating system on a CPU with Advanced vector extensions (AVX). We introduce a reproducibility protocol for our experiments using LMIF and provide a closer look at the experimental process. We introduce new experimental results by running the reproducibility protocol introduced herein and discussing the differences with the results reported in our primary work (Antol et al., 2021). Finally, we make an argument that these results can be considered weakly reproducible (in both of the performance metrics), since they point to the same conclusions derived in the primary paper.

Abstract (in Czech)

Tato práce je doprovodným reprodukovatelným článkem předchozího článku (Antol a kol., 2021), ve kterém jsme představili alternativu k tradičnímu paradigmatu vyhledávání podobnosti v metrických prostorech nazvanou Learned Metric Index. Inspirováni pokrokem v naučeném indexování strukturovaných dat jsme použili modely strojového učení, které nahradily rozhodování v podobnostním indexu pomocí pivotů, a postavili tak vyhledávání podle podobnosti jako klasifikační problém. Tato implementace se ukázala být více než konkurenceschopná s konvenčními metodami, pokud jde o rychlost a úplnost odpovědi, což dokazuje, že tento koncept je životaschopný. Cílem této publikace je zveřejnit náš zdrojový kód, datové sady a experimenty. Za tímto účelem vytváříme kolekci softwarových knihoven pro Python3, reprodukovatelných experimentálních souborů YAML a základních souborů JSON, které jsou sdruženy v obrazu Docker - Learned Metric Index Framework (LMIF) - který lze spustit pomocí libovolného operačního systému kompatibilního s Dockerem na procesoru s pokročilými vektorovými rozšířeními (AVX). Představujeme protokol reprodukovatelnosti našich experimentů s využitím LMIF a poskytujeme bližší pohled na experimentální proces. Dále představujeme nové experimentální výsledky spuštěním zde zavedeného protokolu reprodukovatelnosti a diskutujeme rozdíly s výsledky uvedenými v naší primární práci (Antol et al., 2021). Nakonec předkládáme argument, že tyto výsledky lze považovat za slabě reprodukovatelné (v obou metrikách výkonnosti), protože poukazují na stejné závěry odvozené v primární práci. [Překlad s pomocí deepl.com]

Links

• EF16_019/0000822, research and development project: Name: Centrum excelence pro kyberkriminalitu, kyberbezpečnost a ochranu kritických informačních infrastruktur
• GF23-07040K, research and development project: Name: Naučené indexy pro podobností hledání

Investor: Czech Science Foundation, Learned Indexing for Similarity Searching, Lead Agency

• LM2018140, research and development project: Name: e-Infrastruktura CZ (Acronym: e-INFRA CZ)

Investor: Ministry of Education, Youth and Sports of the CR

• MUNI/A/1339/2022, interní kód MU: Name: Rozvoj technik pro zpracování dat pro podporu vyhledávání, analýz a vizualizací rozsáhlých datových souborů s využitím umělé inteligence

Investor: Masaryk University, Development of data processing techniques to support search, analysis and visualization of large datasets using artificial intelligence