D 2022

AdaptOr: Objective-Centric Adaptation Framework for Language Models

ŠTEFÁNIK, Michal, Vít NOVOTNÝ, Nikola GROVEROVÁ a Petr SOJKA

Základní údaje

Originální název

AdaptOr: Objective-Centric Adaptation Framework for Language Models

Autoři

ŠTEFÁNIK, Michal (703 Slovensko, garant, domácí), Vít NOVOTNÝ (203 Česká republika, domácí), Nikola GROVEROVÁ (203 Česká republika) a Petr SOJKA (203 Česká republika, domácí)

Vydání

Dublin, Irsko, Proceedings of the 60th Conference of Association of Computational Linguistics, ACL 2022, od s. 261-269, 9 s. 2022

Nakladatel

Association for Computational Linguistics, ACL

Další údaje

Jazyk

angličtina

Typ výsledku

Stať ve sborníku

Obor

10201 Computer sciences, information science, bioinformatics

Stát vydavatele

Spojené státy

Utajení

není předmětem státního či obchodního tajemství

Forma vydání

elektronická verze "online"

Kód RIV

RIV/00216224:14330/22:00125674

Organizační jednotka

Fakulta informatiky

ISBN

978-1-955917-24-7

ISSN

UT WoS

000828759800025

Klíčová slova česky

plnotextové vyhledávání; doménová adaptace

Klíčová slova anglicky

Adaptor library; domain adaptation; similarity search; vector space; embeddings

Příznaky

Mezinárodní význam, Recenzováno
Změněno: 14. 5. 2024 09:59, RNDr. Pavel Šmerk, Ph.D.

Anotace

V originále

Progress in natural language processing research is catalyzed by the possibilities given by the widespread software frameworks. This paper introduces the Adaptor library that transposes the traditional model-centric approach composed of pre-training + fine-tuning steps to the objective-centric approach, composing the training process by applications of selected objectives. We survey research directions that can benefit from enhanced objective-centric experimentation in multitask training, custom objectives development, dynamic training curricula, or domain adaptation. Adaptor aims to ease the reproducibility of these research directions in practice. Finally, we demonstrate the practical applicability of Adaptor in selected unsupervised domain adaptation scenarios.

Návaznosti

MUNI/A/1230/2021, interní kód MU
Název: Zapojení studentů Fakulty informatiky do mezinárodní vědecké komunity 22 (Akronym: SKOMU)
Investor: Masarykova univerzita, Zapojení studentů Fakulty informatiky do mezinárodní vědecké komunity 22