k 2023

IS IT POSSIBLE TO RE-EDUCATE ROBERTA? EXPERT-DRIVEN MACHINE LEARNING FOR PUNCTUATION CORRECTION

MACHURA, Jakub; Hana ŽIŽKOVÁ; Jan ŠVEC a Adam FRÉMUND

Základní údaje

Originální název

IS IT POSSIBLE TO RE-EDUCATE ROBERTA? EXPERT-DRIVEN MACHINE LEARNING FOR PUNCTUATION CORRECTION

Autoři

MACHURA, Jakub; Hana ŽIŽKOVÁ; Jan ŠVEC a Adam FRÉMUND

Vydání

SLOVKO, 18 - 20 October 2023, Bratislava, 2023

Další údaje

Jazyk

angličtina

Typ výsledku

Prezentace na konferencích

Obor

60203 Linguistics

Stát vydavatele

Slovensko

Utajení

není předmětem státního či obchodního tajemství

Organizační jednotka

Filozofická fakulta

DOI

Klíčová slova anglicky

comma; Czech; vocative; machine learning; RoBERTa

Příznaky

Mezinárodní význam, Recenzováno
Změněno: 8. 1. 2024 16:10, doc. Mgr. Markéta Ziková, Ph.D.

Anotace

V originále

Although Czech rule-based tools for automatic punctuation insertion rely on extensive grammar and achieve respectable precision, the pre-trained Transformers outperform rule-based systems in precision and recall (Machura et al. 2022). The Czech pre-trained RoBERTa model achieves excellent results, yet a certain level of phenomena is ignored, and the model partially makes errors. This paper aims to investigate whether it is possible to retrain the RoBERTa language model to increase the number of sentence commas the model correctly detects. We have chosen a very specific and narrow type of sentence comma, namely the sentence comma delimiting vocative phrases, which is clearly defined in the grammar and is very often omitted by writers. The chosen approaches were further tested and evaluated on different types of texts

Návaznosti

MUNI/A/1249/2022, interní kód MU
Název: Lexikon a gramatika češtiny III - 2023
Investor: Masarykova univerzita, Lexikon a gramatika češtiny III - 2023