Disertační práce

Byte Level Language Models

Mgr. et Mgr. Vít Baisa, učo 139654
Anotace

Většina technik jazykového modelování pracuje se slovy jako dále nedělitelnými jednotkami. Teprve nedávno bylo prokázáno, že modely pracující s daty na nižší úrovni (částmi slov: morfémy či znaky) mohou konkurovat technikám založeným na slovech. V této práci představuji tři techniky pracující s jazykovými daty na úrovni bytů, díky čemuž mohou být použity pro libovolná jazyková data bez potřeby předzpracování …více

Abstract

Most language modeling techniques treat words as atomic units. Only recently it has been shown that models using lower level units (morphemes, characters or bytes) can be competitive with the word level approach in terms of perplexity and other performance metrics. In this thesis I introduce three techniques operating on byte level. Thanks to this they can be applied to any language data without a …více

Klíčová slova
byte level language model character level suffix array neural network machine translation long-term memory language acquisition working memory natural language short-term memory text segmentation perplexity OOV SRILM RNN morpheme entropy corpus
Administrativní informace
Práce zkontrolována:
21. 6. 2016 09:40, prof. PhDr. Karel Pala, CSc.
Plný text práce
577,3 KB / soubor PDF
Jazyk práce
angličtina angličtina
Termín obhajoby
1. 11. 2016
Práce byla úspěšně obhájena

Vedoucí

prof. PhDr. Karel Pala, CSc.
KSUZD FI MU

Oponenti

prof. Dr. Ing. Jan Černocký
ext FI MU, FIT VUT v Brně
Assoc. Prof. Dr. Tomaž Erjavec
Jožef Stefan Institute, Ljubljana, Slovenija
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Informatika (čtyřleté)
Obor

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.