The Art of Reproducible Machine Learning: A Survey of Methodology in Word Vector Experiments

NOVOTNÝ, Vít. The Art of Reproducible Machine Learning: A Survey of Methodology in Word Vector Experiments. In Aleš Horák, Pavel Rychlý, Adam Rambousek. Proceedings of the Fourteenth Workshop on Recent Advances in Slavonic Natural Language Processing, RASLAN 2020. Brno: Tribun EU, 2020, s. 55-64. ISBN 978-80-263-1600-8.

Základní údaje

Originální název

The Art of Reproducible Machine Learning: A Survey of Methodology in Word Vector Experiments

Autoři

NOVOTNÝ, Vít (203 Česká republika, garant, domácí)

Vydání

Brno, Proceedings of the Fourteenth Workshop on Recent Advances in Slavonic Natural Language Processing, RASLAN 2020, od s. 55-64, 10 s. 2020

Nakladatel

Tribun EU

---

Další údaje

Jazyk

angličtina

Typ výsledku

Stať ve sborníku

Obor

10201 Computer sciences, information science, bioinformatics

Stát vydavatele

Česká republika

Utajení

není předmětem státního či obchodního tajemství

Forma vydání

tištěná verze "print"

Odkazy

PDF Domovská stránka workshopu

Kód RIV

RIV/00216224:14330/20:00117106

Organizační jednotka

Fakulta informatiky

ISBN

978-80-263-1600-8

ISSN

UT WoS

000655471300006

Klíčová slova anglicky

Machine learning; word vectors; word2vec; fastText; word analogy; reproducibility

Štítky

machine learning, word embeddings

Příznaky

Mezinárodní význam

---

Anotace

V originále

Since the seminal work of Mikolov et al. (2013), word vectors of log-bilinear SVMs have found their way into many NLP applications as an unsupervised measure of word relatedness.

Due to the rapid pace of research and the publish-or-perish mantra of academic publishing, word vector experiments contain undisclosed parameters, which make them difficult to reproduce.

In our work, we introduce the experiments and their parameters, compare the published experimental results with our own, and suggest default parameter settings and ways to make previous and future experiments easier to reproduce.

We show that the lack of variable control can cause up to 24% difference in accuracy on the word analogy tasks.

---

Návaznosti

MUNI/A/1076/2019, interní kód MU

Název: Zapojení studentů Fakulty informatiky do mezinárodní vědecké komunity 20 (Akronym: SKOMU) Investor: Masarykova univerzita, Zapojení studentů Fakulty informatiky do mezinárodní vědecké komunity 20, DO R. 2020_Kategorie A - Specifický výzkum - Studentské výzkumné projekty

MUNI/A/1411/2019, interní kód MU

Název: Aplikovaný výzkum: softwarové architektury kritických infrastruktur, bezpečnost počítačových systémů, zpracování přirozeného jazyka a jazykové inženýrství, vizualizaci velkých dat a rozšířená realita. Investor: Masarykova univerzita, Aplikovaný výzkum: softwarové architektury kritických infrastruktur, bezpečnost počítačových systémů, zpracování přirozeného jazyka a jazykové inženýrství, vizualizaci velkých dat a rozšířená realita., DO R. 2020_Kategorie A - Specifický výzkum - Studentské výzkumné projekty