ŘEHŮŘEK, Radim and Jan RYGL. ScaleText. 2016.
Other formats:   BibTeX LaTeX RIS
Basic information
Original name ScaleText
Authors ŘEHŮŘEK, Radim and Jan RYGL.
Edition 2016.
Other information
Original language English
Type of outcome Software
Field of Study 10201 Computer sciences, information science, bioinformatics
Country of publisher Czech Republic
Confidentiality degree contents are subject to a state secret
WWW Repositář projektu (neveřejný, přístup na vyžádání vůči podpisu NDA)
Keywords in English information retrieval; semantic search; document topic modeling; machine learning; search; deep learning; ScaleText
Technical parameters Toto prototypové vydání slouží jako proof-of-concept ověření metody práce celého systému. Návrh architektury a celkový přehled systému byl publikován v [RYGL, Jan, Petr SOJKA, Michal RŮŽIČKA a Radim ŘEHŮŘEK. ScaleText: The Design of a Scalable, Adaptable and User-Friendly Document System for Similarity Searches : Digging for Nuggets of Wisdom in Text. In Aleš Horák, Pavel Rychlý, Adam Rambousek. Proceedings of the Tenth Workshop on Recent Advances in Slavonic Natural Language Processing, RASLAN 2016. Brno: Tribun EU, 2016. s. 79-87, 9 s. ISBN 978-80-263-1095-2.]. Software byl ověřen indexováním celého obsahu anglické jazykové mutace encyklopedie Wikipedia, sledována byla stabilita, výkon a přesnost systému při použití různých kombinací konfiguračních parametrů. Tyto technické výsledky byly sumarizovány v publikaci [RYGL, Jan, Radim ŘEHŮŘEK, Michal RŮŽIČKA a Petr SOJKA. Semantic Vector Encodings and Comparison of Search Performance for Inverted Index-Based Engines. 13 s. Připravuje se k vydání.].
Tags International impact
Changed by Changed by: RNDr. Michal Růžička, Ph.D., učo 143424. Changed: 23/3/2017 09:58.
Abstract
ScaleText version 0.7 is an early prototype of an innovative software for scalable semantic text search, aimed at evaluating the performance and technical feasibility of the project. The core of this result is a database engine, realized as a stand-alone package in the Python language, that implements document indexing and search using vectors for text representation. The vectors are created automatically from plain text using several methods for semantic analysis: LSI, LDA, TF-IDF. The documents go through several stages, from preprocessing, segmentation, vectorization to vector encoding and storage. Each step is realized by a dedicated component, with its output backed by a backend database engine for persistence. See the associated publication [RYGL, Jan, Petr SOJKA, Michal RŮŽIČKA and Radim ŘEHŮŘEK. ScaleText: The Design of a Scalable, Adaptable and User-Friendly Document System for Similarity Searches : Digging for Nuggets of Wisdom in Text. In Aleš Horák, Pavel Rychlý, Adam Rambousek. Proceedings of the Tenth Workshop on Recent Advances in Slavonic Natural Language Processing, RASLAN 2016. Brno: Tribun EU, 2016. p. 79-87, 9 pp. ISBN 978-80-263-1095-2.] for a deeper description of the design methodology, APIs and data flow. Release 0.7 includes the definition of class interfaces and dependencies, plus their instantiation using concrete algorithms of LSI and LDA, and a concrete database backend of Gensim, making the system fully end-to-end executable.
Links
TD03000295, research and development projectName: Inteligentní software pro sémantické hledání dokumentů (Acronym: ISSHD)
Investor: Technology Agency of the Czech Republic
PrintDisplayed: 11/10/2024 14:25