Towards Domain Robustness of Neural Language Models

ŠTEFÁNIK, Michal a Petr SOJKA. Towards Domain Robustness of Neural Language Models. In Horák, Rychlý, Rambousek. Recent Advances in Slavonic Natural Language Processing (RASLAN 2021). Brno: Tribun EU, 2021, s. 91-103. ISBN 978-80-263-1670-1.

Základní údaje

Originální název

Towards Domain Robustness of Neural Language Models

Autoři

ŠTEFÁNIK, Michal (703 Slovensko, garant, domácí) a Petr SOJKA (203 Česká republika, domácí)

Vydání

Brno, Recent Advances in Slavonic Natural Language Processing (RASLAN 2021), od s. 91-103, 13 s. 2021

Nakladatel

Tribun EU

---

Další údaje

Jazyk

angličtina

Typ výsledku

Stať ve sborníku

Obor

10200 1.2 Computer and information sciences

Stát vydavatele

Česká republika

Utajení

není předmětem státního či obchodního tajemství

Forma vydání

tištěná verze "print"

Odkazy

Full text PDF Domovská stránka workshopu

Kód RIV

RIV/00216224:14330/21:00123248

Organizační jednotka

Fakulta informatiky

ISBN

978-80-263-1670-1

ISSN

Klíčová slova anglicky

Generalization; Debiasing; Domain extrapolation; Domain adaptation; Domain robustness; Neural language models

---

Anotace

V originále

This work summarises recent progress in generalization evaluation and training of deep neural networks, categorized in data-centric and model-centric overviews. Grounded in the results of the referenced work, we propose three future directions towards reaching higher robustness of language models to an unknown domain or its adaptation to an existing domain of interest. In the example propositions that practically complement each of the directions, we introduce novel ideas of a) dynamic objective selection, b) language modeling respecting the token similarities to the ground truth and c) a framework of additive component of the loss utilizing the well-performing generalization measures.

---

Návaznosti

MUNI/A/1573/2020, interní kód MU

Název: Aplikovaný výzkum: vyhledávání, analýza a vizualizace rozsáhlých dat, zpracování přirozeného jazyka, umělá inteligence pro analýzu biomedicínských obrazů. Investor: Masarykova univerzita, Aplikovaný výzkum: vyhledávání, analýza a vizualizace rozsáhlých dat, zpracování přirozeného jazyka, umělá inteligence pro analýzu biomedicínských obrazů.