Diplomová práce
Získaná ocenění: Cena děkana FI za vynikající závěrečnou práci

Paralelizace časově náročných operací korpusového manažeru

Parallelization of the corpus manager's time-consuming operations

Bc. Radoslav Rábara
Anotace

Korpusový manažér Manatee dokáže spracovávať korpusy obsahujúce desiatky miliard slov. Pre takto veľké korpusy sú niektoré operácie s výsledkami vyhľadávania značne časovo náročné. Práca skúma možnosti paralelného spracovania vybraných operácií a to na viacerých jadrách jedného počítača i na zoskupení samostatných počítačov. Práca obsahuje i implementovaný systém pre paralelné vyhodnocovanie vybraných …více

Abstract

The Manatee corpus manager can process large corpora containing billions of words. Some operations with search results from such large corpora can be time-consuming. This thesis provides and describes a system that enables computation of the selected operations in parallel. The system is evaluated on a single computer, and on a cluster of computers. The evaluation contains evaluation of the scalability …více

Klíčová slova
Manatee text corpora Go text compression compression of integers time-consuming operations parallelization MapReduce Glow distributed computing data format cluster scalability
Zadání práce
Korpusový manažer Manatee dokáže zpracovávat korpusu v řádech desítek miliard slov. Pro takto velké korpusy jsou některé operace s výsledky vyhledávání časově značně náročné. Student prozkoumá možnosti paralelního zpracování vybraných operací a to jak na více jádrech jednoho počítače, tak na několika samostatných počítačích. Vyuzkouší též použití existujících systémů pro výpočty (např. typu MapReduce) na klastrech počítačů. Výsledkem práce bude text popisující jednotlivé možnosti či části řešení spolu s vyhodnocením na reálných datech. Součástí práce bude i implementace systému pro paralelní vyhodnocování vybraných operací (minimálně třídění a frekvenční distribuce) s vyhodnocením škálovatelnosti systému.
Administrativní informace
Práce zkontrolována:
3. 6. 2016 16:00, doc. Mgr. Pavel Rychlý, Ph.D., učo 3692
Plný text práce
767,4 KB / soubor PDF
Přílohy (1)
Jazyk práce
angličtina angličtina
Termín obhajoby
27. 6. 2016
Práce byla úspěšně obhájena

Vedoucí

doc. Mgr. Pavel Rychlý, Ph.D., učo 3692
KSUZD FI MU

Oponent

RNDr. Miloš Jakubíček, Ph.D., učo 172962
CZPJ FI MU

Literatura

  • RYCHLÝ, Pavel. Korpusové manažery a jejich efektivní implementace. Brno, 2000, xiv, 128.
  • RYCHLÝ, Pavel. Manatee/Bonito - A Modular Corpus Manager. In 1st Workshop on Recent Advances in Slavonic Natural Language Processing. Brno: Masarykova univerzita, 2007, s. 65-70. ISBN 978-80-210-4471-5.
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Aplikovaná informatika
Obor

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.