On Eliminating Inductive Biases of Deep Language Models

ŠTEFÁNIK, Michal. On Eliminating Inductive Biases of Deep Language Models. In ALPS 2021. 2021.

Základní údaje

Originální název

On Eliminating Inductive Biases of Deep Language Models

Autoři

ŠTEFÁNIK, Michal

Vydání

ALPS 2021, 2021

---

Další údaje

Jazyk

angličtina

Typ výsledku

Prezentace na konferencích

Obor

10200 1.2 Computer and information sciences

Stát vydavatele

Česká republika

Utajení

není předmětem státního či obchodního tajemství

Odkazy

URL

Organizační jednotka

Fakulta informatiky

Klíčová slova anglicky

nlp;transformers;inductive bias;generalisation

Štítky

inductive bias, model generalisation, NLP, transformers

Příznaky

Mezinárodní význam

---

Anotace

V originále

This poster outlines problems of modern neural language models with out-of-domain performance. It suggests that this might be a consequence of narrow model specialization. In order to eliminate this flaw, it suggests two main directions of future work: 1. Introduction of evaluative metrics can identify out-of-domain generalization abilities, while 2. Objective approach adjusts the training objective to respect the desired generalization properties of the system.

---

Návaznosti

MUNI/A/1573/2020, interní kód MU

Název: Aplikovaný výzkum: vyhledávání, analýza a vizualizace rozsáhlých dat, zpracování přirozeného jazyka, umělá inteligence pro analýzu biomedicínských obrazů. Investor: Masarykova univerzita, Aplikovaný výzkum: vyhledávání, analýza a vizualizace rozsáhlých dat, zpracování přirozeného jazyka, umělá inteligence pro analýzu biomedicínských obrazů.