ŠTEFÁNIK, Michal, Vít NOVOTNÝ a Petr SOJKA. Regressive Ensemble for Machine Translation Quality Evaluation. In Loïc Barrault et al. Proceedings of EMNLP 2021 Sixth Conference on Machine Translation (WMT 21). Online and Punta Cana, Dominican Republi: ACL, 2021. s. 1041-1048. ISBN 978-1-954085-94-7.
Další formáty:   BibTeX LaTeX RIS
Základní údaje
Originální název Regressive Ensemble for Machine Translation Quality Evaluation
Autoři ŠTEFÁNIK, Michal (703 Slovensko, domácí), Vít NOVOTNÝ (203 Česká republika, domácí) a Petr SOJKA (203 Česká republika, garant, domácí).
Vydání Online and Punta Cana, Dominican Republi, Proceedings of EMNLP 2021 Sixth Conference on Machine Translation (WMT 21), od s. 1041-1048, 8 s. 2021.
Nakladatel ACL
Další údaje
Originální jazyk angličtina
Typ výsledku Stať ve sborníku
Obor 60203 Linguistics
Stát vydavatele Spojené státy
Utajení není předmětem státního či obchodního tajemství
Forma vydání elektronická verze "online"
WWW preprint paper
Kód RIV RIV/00216224:14330/21:00122292
Organizační jednotka Fakulta informatiky
ISBN 978-1-954085-94-7
Klíčová slova česky strojový překlad; automatické vyhodnocení kvality překladu;
Klíčová slova anglicky machine translation; translation quality metrics; regressive ensemble for machine translation quality evaluation
Štítky firank_B
Příznaky Mezinárodní význam, Recenzováno
Změnil Změnil: RNDr. Pavel Šmerk, Ph.D., učo 3880. Změněno: 23. 5. 2022 14:57.
Anotace
This work introduces a simple regressive ensemble for evaluating machine translation quality based on a set of novel and established metrics. We evaluate the ensemble using a correlation to expert-based MQM scores of the WMT 2021 Metrics workshop. In both monolingual and zero-shot cross-lingual settings, we show a significant performance improvements over single systems. In the cross-lingual settings, we also demonstrate that an ensemble approach is well-applicable to unseen languages. Furthermore, we identify a strong reference-free baseline that consistently outperforms the commonly-used BLEU and METEOR measures and significantly improves our ensemble's performance.
Návaznosti
MUNI/A/1549/2020, interní kód MUNázev: Zapojení studentů Fakulty informatiky do mezinárodní vědecké komunity 21 (Akronym: SKOMU)
Investor: Masarykova univerzita, Zapojení studentů Fakulty informatiky do mezinárodní vědecké komunity 21
VytisknoutZobrazeno: 30. 9. 2022 17:46