Skúmame existujúcu implementáciu Learned Metric Index a jej
výkonnostné charakteristiky, pričom pozorujeme niekoľko čŕt,
ktoré obmedzujú jej účinnosť. V reakcii na to navrhujeme
kľúčové koncepčné pokroky a vylepšenia výkonu v procesoch
a vyhľadávania.
Konkrétne je proces konštrukcie prepracovaný tak, aby zahŕňal
schému odberu vzorky a existujúci algoritmus zhlukovania je
nahradený vhodnejšou alternatívou. Zavádza sa lepšia správa
pamäte a na podporu indexovania v prostrediach s obmedzenou
pamäťou, sú vysokodimenzionálne vektory zasadené do priestorov
s nižšou dimenziou pomocou techniky redukcie dimenzionality. Na
urýchlenie procesu vyhľadávania implementácia využíva efektívnu
implementáciu úplného prehľadávania, ktorá umožňuje paralelné
spracovanie dotazov na viacjadrových strojoch.
Praktická časť predstavuje novú implementáciu napísanú od
základou v jazyku Python. Je založená na knižnici PyTorch s
uvedenými rozšíreniami a podporuje akceleráciu GPU. Pomocou
sústavy pre optimalizáciu hyperparametrov automatizujeme
ladenie parametrov. Úspešne sme škálovali implementáciu z 10
miliónov na 1 miliardu záznamov, čo je nárast o dva rády a
zároveň sme zplešili priemerný čas vyhľadávania. Experimentálne
porovnávame účinnosť a efektívnosť existujúcej a našej
implementácie. Okrem toho poskytujeme analýzu toho, ako počet
bucketov ovplyvňuje čas zostavovania a vyhľadávania, a
ukazujeme výhody GPU akcelerácie a ďalších vylepšení, ako je
kvantovanie váh modelov alebo JIT kompilácia kódu do
optimalizovaných jadier.