Diplomová práce

Text quality classification for machine translation training

Bc. Jan Brichta
Anotace

Tato práce porovnává metody filtrování textu pro český jazyk a vyhodnocuje jejich vliv na neuronový strojový překlad (NMT). Hlavním cílem je prozkoumat několik přístupů k filtrování na úrovni vět, otestovat je na úlohách překladu z češtiny do angličtiny a poskytnout reprodukovatelný evaluační postup. Jsou vytvořeny dvě ručně anotované "gold standard" datové sady, které slouží k měření shody filtrů …více

Abstract

This thesis compares text filtering methods for Czech and evaluates their effect on neural machine translation (NMT). The main goal is to explore multiple sentence-level filtering approaches, test them using Czech–English translation tasks, and provide a reproducible evaluation pipeline. Two human‑annotated gold‑standard datasets are created to measure filter agreement with human judgments. Comparing …více

Zadání práce
Context:
Text filtering is often used for finding suitable data for given task and improving model quality.
There are numerous tasks benefiting from filtered text data such as spam detection, LLM assistent creation and fine-tuning, or Machine translation.
Since there are many text filters, it might be impossible to exhaustively evaluate all of them, however, it is worth doing an overview on few such methods in the field of machine translation and creating a way to compare them.

Goals:
The main goal of this thesis is to explore and implement multiple sentence filtering approaches, and test them using machine translation measures using Czech-English data. An important part of the thesis shall be an evaluation the of filters and a way to evaluate a given filter on machine translation.

Specifically, the filters will be used to create data from which machine translation models will be trained and tested using measures such as ChrF or Comet.
A large part of the focus of the thesis shall be on the evaluation/comparison
of filtering methods on machine translation to help compare different filtering methods.

Requirements:
The final work shall consist of:
- Comparing few modern approaches of text filtering methods for machine translation.
- Implementing/importing some such approaches and describing them in the thesis. Two of these methods shall be Fastext based filltering and embedding+neural network classifier.
- Evaluating the filtering approaches using machine translation measures.
- A written thesis containing results of the work done
Práce zkontrolována:
29. 5. 2026 09:59, doc. Mgr. Pavel Rychlý, Ph.D., učo 3692
Jazyk práce
angličtina angličtina
Termín obhajoby
19. 6. 2026
Práce byla úspěšně obhájena

Vedoucí

doc. Mgr. Pavel Rychlý, Ph.D., učo 3692
KSUZD FI MU

Oponent

RNDr. Vít Suchomel, Ph.D., učo 139723
CZPJ KSUZD FI MU

Masarykova univerzita Fakulta informatiky
Plán
Zpracování přirozeného jazyka
  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.
  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.
  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.
  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.
  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.