2022
Methods for Estimating and Improving Robustness of Language Models.
ŠTEFÁNIK, MichalZákladní údaje
Originální název
Methods for Estimating and Improving Robustness of Language Models.
Autoři
ŠTEFÁNIK, Michal (703 Slovensko, garant, domácí)
Vydání
Seattle, Washington + Online, Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, od s. 44-51, 8 s. 2022
Nakladatel
Association for Computational Linguistics
Další údaje
Jazyk
angličtina
Typ výsledku
Stať ve sborníku
Obor
10201 Computer sciences, information science, bioinformatics
Stát vydavatele
Spojené státy
Utajení
není předmětem státního či obchodního tajemství
Forma vydání
elektronická verze "online"
Odkazy
Kód RIV
RIV/00216224:14330/22:00126309
Organizační jednotka
Fakulta informatiky
ISBN
978-1-7138-5621-4
UT WoS
000860760300006
Klíčová slova anglicky
natural language processing; transformers; robustness; generalization
Příznaky
Mezinárodní význam, Recenzováno
Změněno: 6. 4. 2023 12:36, RNDr. Pavel Šmerk, Ph.D.
Anotace
V originále
Despite their outstanding performance, large language models (LLMs) suffer notorious flaws related to their preference for shallow textual relations over full semantic complexity of the problem. This proposal investigates a common denominator of this problem in their weak ability to generalise outside of the training domain. We survey diverse research directions providing estimations of model generalisation ability and find that incorporating some of these measures in the training objectives leads to enhanced distributional robustness of neural models. Based on these findings, we present future research directions enhancing the robustness of LLMs.
Návaznosti
MUNI/A/1195/2021, interní kód MU |
|