D 2016

On Evaluation of Natural Language Processing Tasks: Is Gold Standard Evaluation Methodology a Good Solution?

KOVÁŘ, Vojtěch, Miloš JAKUBÍČEK a Aleš HORÁK

Základní údaje

Originální název

On Evaluation of Natural Language Processing Tasks: Is Gold Standard Evaluation Methodology a Good Solution?

Název česky

K evaluaci úkolů zpracování přirozeného jazyka: je metodologie používající "gold standardy" dobrým řešením?

Autoři

KOVÁŘ, Vojtěch (203 Česká republika, garant, domácí), Miloš JAKUBÍČEK (203 Česká republika, domácí) a Aleš HORÁK (203 Česká republika, domácí)

Vydání

Rome, Proceedings of the 8th International Conference on Agents and Artificial Intelligence, od s. 540-545, 6 s. 2016

Nakladatel

SCITEPRESS

Další údaje

Jazyk

angličtina

Typ výsledku

Stať ve sborníku

Obor

10201 Computer sciences, information science, bioinformatics

Stát vydavatele

Itálie

Utajení

není předmětem státního či obchodního tajemství

Forma vydání

paměťový nosič (CD, DVD, flash disk)

Kód RIV

RIV/00216224:14330/16:00087757

Organizační jednotka

Fakulta informatiky

ISBN

978-989-758-172-4

Klíčová slova česky

zpracování přirozeného jazyka; aplikace; vyhodnocování; evaluace

Klíčová slova anglicky

Natural Language Processing; Applications; Evaluation

Štítky

Příznaky

Mezinárodní význam, Recenzováno
Změněno: 7. 3. 2016 17:20, RNDr. Vojtěch Kovář, Ph.D.

Anotace

ORIG CZ

V originále

The paper discusses problems in state of the art evaluation methods used in natural language processing (NLP). Usually, some form of gold standard data is used for evaluation of various NLP tasks, ranging from morphological annotation to semantic analysis. We discuss problems and validity of this type of evaluation, for various tasks, and illustrate the problems on examples. Then we propose using application-driven evaluations, wherever it is possible. Although it is more expensive, more complicated and not so precise, it is the only way to find out if a particular tool is useful at all.

Česky

Práce se zabývá problémy v metodologii vyhodnocování v oblasti zpracování přirozeného jazyka (NLP). Většinou jsou pro takové vyhodnocování používána tzv. "gold standard" data. Diskutujeme problémy a validitu tohoto přístupu a navrhujeme aplikačně orientovanou alternativu.

Návaznosti

GA15-13277S, projekt VaV
Název: Hyperintensionální logika pro analýzu přirozeného jazyka
Investor: Grantová agentura ČR, Hyperintensionální logika pro analýzu přirozeného jazyka
7F14047, projekt VaV
Název: Harvesting big text data for under-resourced languages (Akronym: HaBiT)
Investor: Ministerstvo školství, mládeže a tělovýchovy ČR, Harvesting big text data for under-resourced languages