On Eliminating Inductive Biases of Deep Language Models

ŠTEFÁNIK, Michal. On Eliminating Inductive Biases of Deep Language Models. In ALPS 2021. 2021.

Základní údaje

• Originální název: On Eliminating Inductive Biases of Deep Language Models
• Autoři: ŠTEFÁNIK, Michal.
• Vydání: ALPS 2021, 2021.

Další údaje

• Originální jazyk: angličtina
• Typ výsledku: Prezentace na konferencích
• Obor: 10200 1.2 Computer and information sciences
• Stát vydavatele: Česká republika
• Utajení: není předmětem státního či obchodního tajemství
• WWW: URL
• Organizační jednotka: Fakulta informatiky
• Klíčová slova anglicky: nlp;transformers;inductive bias;generalisation
• Štítky: inductive bias, model generalisation, NLP, transformers
• Příznaky: Mezinárodní význam

Anotace

This poster outlines problems of modern neural language models with out-of-domain performance. It suggests that this might be a consequence of narrow model specialization. In order to eliminate this flaw, it suggests two main directions of future work: 1. Introduction of evaluative metrics can identify out-of-domain generalization abilities, while 2. Objective approach adjusts the training objective to respect the desired generalization properties of the system.

Návaznosti

• MUNI/A/1573/2020, interní kód MU: Název: Aplikovaný výzkum: vyhledávání, analýza a vizualizace rozsáhlých dat, zpracování přirozeného jazyka, umělá inteligence pro analýzu biomedicínských obrazů.

Investor: Masarykova univerzita, Aplikovaný výzkum: vyhledávání, analýza a vizualizace rozsáhlých dat, zpracování přirozeného jazyka, umělá inteligence pro analýzu biomedicínských obrazů.