KOVÁŘ, Vojtěch, Miloš JAKUBÍČEK a Aleš HORÁK. On Evaluation of Natural Language Processing Tasks: Is Gold Standard Evaluation Methodology a Good Solution? In Jaap van den Herik and Joaquim Filipe. Proceedings of the 8th International Conference on Agents and Artificial Intelligence. Rome: SCITEPRESS, 2016. s. 540-545, 6 s. ISBN 978-989-758-172-4.
Další formáty:   BibTeX LaTeX RIS
Základní údaje
Originální název On Evaluation of Natural Language Processing Tasks: Is Gold Standard Evaluation Methodology a Good Solution?
Název česky K evaluaci úkolů zpracování přirozeného jazyka: je metodologie používající "gold standardy" dobrým řešením?
Autoři KOVÁŘ, Vojtěch (203 Česká republika, garant, domácí), Miloš JAKUBÍČEK (203 Česká republika, domácí) a Aleš HORÁK (203 Česká republika, domácí).
Vydání Rome, Proceedings of the 8th International Conference on Agents and Artificial Intelligence, od s. 540-545, 6 s. 2016.
Nakladatel SCITEPRESS
Další údaje
Originální jazyk angličtina
Typ výsledku Stať ve sborníku
Obor 10201 Computer sciences, information science, bioinformatics
Stát vydavatele Itálie
Utajení není předmětem státního či obchodního tajemství
Forma vydání paměťový nosič (CD, DVD, flash disk)
Kód RIV RIV/00216224:14330/16:00087757
Organizační jednotka Fakulta informatiky
ISBN 978-989-758-172-4
Klíčová slova česky zpracování přirozeného jazyka; aplikace; vyhodnocování; evaluace
Klíčová slova anglicky Natural Language Processing; Applications; Evaluation
Příznaky Mezinárodní význam, Recenzováno
Změnil Změnil: RNDr. Vojtěch Kovář, Ph.D., učo 139915. Změněno: 7. 3. 2016 17:20.
Anotace
The paper discusses problems in state of the art evaluation methods used in natural language processing (NLP). Usually, some form of gold standard data is used for evaluation of various NLP tasks, ranging from morphological annotation to semantic analysis. We discuss problems and validity of this type of evaluation, for various tasks, and illustrate the problems on examples. Then we propose using application-driven evaluations, wherever it is possible. Although it is more expensive, more complicated and not so precise, it is the only way to find out if a particular tool is useful at all.
Anotace česky
Práce se zabývá problémy v metodologii vyhodnocování v oblasti zpracování přirozeného jazyka (NLP). Většinou jsou pro takové vyhodnocování používána tzv. "gold standard" data. Diskutujeme problémy a validitu tohoto přístupu a navrhujeme aplikačně orientovanou alternativu.
Návaznosti
GA15-13277S, projekt VaVNázev: Hyperintensionální logika pro analýzu přirozeného jazyka
Investor: Grantová agentura ČR, Standardní projekty
7F14047, projekt VaVNázev: Harvesting big text data for under-resourced languages (Akronym: HaBiT)
Investor: Ministerstvo školství, mládeže a tělovýchovy ČR, Česko-norský výzkumný program (CZ09)
VytisknoutZobrazeno: 30. 9. 2020 12:21