Information System of Masaryk University 

Scalability of Semantic Analysis in Natural Language Processing

česky | in English

ŘEHŮŘEK, Radim. Scalability of Semantic Analysis in Natural Language Processing. 2011.
Other formats:   BibTeX LaTeX RIS
Basic information
Original name Scalability of Semantic Analysis in Natural Language Processing
Name in Czech Škálovatelnost semantické analýzy ve zpracování přirozeného jazyka
Authors ŘEHŮŘEK, Radim.
Edition 2011.
Other information
Original language English
Type of outcome Original works of art
Field of Study Informatics
Country of publisher Czech Republic
Confidentiality degree is not subject to a state or trade secret
WWW PhD thesis reviews
Organization unit Faculty of Informatics
Keywords in English latent semantic analysis, latent dirichlet allocation, digital libraries, natural language processing
Tags International impact, Reviewed
Changed by Changed by: RNDr. Radim Řehůřek, Ph.D., učo 39672. Changed: 24. 11. 2011 18:52.
Abstract
Data mining applications that work over input of very large scale (web-scale problems) pose challenges that are new and exciting both academically and commercially. Any web-scale algorithm must be robust (dealing gracefully with the inevitable data noise), scalable (capable of efficiently processing large input) and reasonably automated (as human intervention is very costly and often impossible on such scales). This thesis consists of two parts. In the first part, I explore scalability of methods that derive a semantic representation of plain text documents. The focus will be entirely on unsupervised techniques, that is, on methods that don’t make use of manually annotated resources or human input. I develop and present scalable algorithms for Latent Semantic Analysis (LSA) and Latent Dirichlet Allocation (LDA), two general-purpose statistical methods for semantic analysis that serve as building blocks for more concrete, applied algorithms. Scalability is achieved by building the semantic models in a constant amount of memory and distributing the computation over a cluster of autonomous computers, connected by a high-latency network. In addition, the novel LSA training algorithm operates in a single pass over the training data, allowing continuous online training over infinite-sized training streams. The second part of the thesis deals with possible applications of these general semantic algorithms. I present my research in the field of Information Retrieval (IR), including work on topic segmentation of plain-text documents, on document-document similarities (“semantic browsing”) in digital libraries and on language segmentation of documents written in multiple languages.
Abstract (in Czech)
Práce se zabývá dolováním dat z rozsáhlých korpusů. Zaměřuje se na robustní statistické metody, které dokáží automatizovaně vytvořit kompaktní sémantickou reprezentaci volného textu, tj. bez použití metadat či ručního vstupu člověka. První část práce se zabývá škálovatelností metod Latent Semantic Analysis (LSA) a Latent Dirichlet Allocation (LDA). Představuji nové algoritmy pro škálovatelnou tvorbu těchto sémantických modelů. Škálovatelnost je dosažena 1) distribucí výpočtů na více strojů a 2) využitím pouze konstatního množství paměti vzhledem k velikosti trénovacích dat, a 3) trénováním modelu v omezeném počtu průchodů trénovacími daty (resp. pouze na jeden průchod v případě LSA, což umožňuje trénování na nekonečném, nestacionárním proudu trénovacích dat). Druhá část práce popisuje několik možných aplikací těchto obecných sémantických algoritmů. Prezentuji zde výsledky svého výzkumu v oblasti Information Retrieval (IR), jako je např. tématická segmentace volného textu, sémantická podobnost dokumentů v digitálních knihovnách či efektivní segmentace textu podle jazyka. Součástí práce je také open-source software, který obsahuje implementaci těchto metod.
Type Name Uploaded/Created by Uploaded/Created Rights
959018 /1 Řehůřek, R. 24. 11. 2011

Properties

Name
959018
Application
refresh
Address within IS
https://is.muni.cz/auth/repo/959018/
Address for the users outside IS
https://is.muni.cz/repo/959018/
Address within Manager
https://is.muni.cz/auth/repo/959018/?info
Address within Manager for the users outside IS
https://is.muni.cz/repo/959018/?info
Uploaded/Created
Thu 24. 11. 2011 18:45, RNDr. Radim Řehůřek, Ph.D.

Rights

Right to read:
  • anyone on the Internet
Right to upload:
 
Right to administer:
  • a concrete person RNDr. Radim Řehůřek, Ph.D., učo 39672
Attributes
 
phd_rehurek.pdf   File version Řehůřek, R. 24. 11. 2011

Rights

Right to read:
 
Right to upload:
 
Right to administer:
  • a concrete person RNDr. Radim Řehůřek, Ph.D., učo 39672
Attributes
 
Print
Ask the author for author copy Displayed: 23. 9. 2017 18:36

Other references 


Go to top | Current date and time: 23. 9. 2017 18:36, Week 38 (even)

Contact: istech(zavináč/atsign)fi(tečka/dot)muni(tečka/dot)cz, Office for Studies, access rights administrators, is-technicians, e-technicians, IT support | Use of cookies | learn more about Information System