Disertační práce

Removing Boilerplate and Duplicate Content from Web Corpora

RNDr. Jan Pomikálek, učo 45523
Anotace

V posledních letech se Web stal oblíbeným zdrojem textových dat pro lingvistický výzkum. Web poskytuje obrovské množství textů v řadě jazyků. Nicméně, aby bylo možné z Webu vytvářet kolekce (textové korpusy) vhodné pro aplikaci v oblasti zpracování přirozeného jazyka, je třeba vyřešit řadu problémů. Tato práce řeší dva z nich: odstraňování šablon a odstraňování duplicitních a podobných (téměř duplicitních …více

Abstract

In the recent years, the Web has become a popular source of textual data for linguistic research. The Web provides an extremely large volume of texts in many languages. However, a number of problems have to be resolved in order to create collections (text corpora) which are appropriate for application in natural language processing. In this work, two related problems are addressed: cleaning a boilerplate …více

Klíčová slova
corpora boilerplate duplicates near-duplicates
Administrativní informace
Práce zkontrolována:
20. 8. 2011 09:23, prof. PhDr. Karel Pala, CSc.
Plný text práce
2,7 MB / soubor PDF
Jazyk práce
angličtina angličtina
Termín obhajoby
30. 8. 2011
Práce byla úspěšně obhájena

Vedoucí

prof. PhDr. Karel Pala, CSc.
KSUZD FI MU

Oponenti

doc. RNDr. Pavel Smrž, Ph.D.
abs FI MU, FIT VUT v Brně
Dr. Marco Baroni
University of Trento
RNDr. Pavel Pecina, Ph.D.
Dublin City University
Autor posudku dosud neidentifikován.
Autor posudku dosud neidentifikován.
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Informatika (čtyřleté)
Obor

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.