R 2016

ScaleText

ŘEHŮŘEK, Radim and Jan RYGL

Basic information

Original name

ScaleText

Authors

ŘEHŮŘEK, Radim and Jan RYGL

Edition

2016

Other information

Language

English

Type of outcome

Software

Field of Study

10201 Computer sciences, information science, bioinformatics

Country of publisher

Czech Republic

Confidentiality degree

obsah podléhá obchodnímu tajemství

References:

Keywords in English

information retrieval; semantic search; document topic modeling; machine learning; search; deep learning; ScaleText

Technical parameters

Toto prototypové vydání slouží jako proof-of-concept ověření metody práce celého systému. Návrh architektury a celkový přehled systému byl publikován v [RYGL, Jan, Petr SOJKA, Michal RŮŽIČKA a Radim ŘEHŮŘEK. ScaleText: The Design of a Scalable, Adaptable and User-Friendly Document System for Similarity Searches : Digging for Nuggets of Wisdom in Text. In Aleš Horák, Pavel Rychlý, Adam Rambousek. Proceedings of the Tenth Workshop on Recent Advances in Slavonic Natural Language Processing, RASLAN 2016. Brno: Tribun EU, 2016. s. 79-87, 9 s. ISBN 978-80-263-1095-2.]. Software byl ověřen indexováním celého obsahu anglické jazykové mutace encyklopedie Wikipedia, sledována byla stabilita, výkon a přesnost systému při použití různých kombinací konfiguračních parametrů. Tyto technické výsledky byly sumarizovány v publikaci [RYGL, Jan, Radim ŘEHŮŘEK, Michal RŮŽIČKA a Petr SOJKA. Semantic Vector Encodings and Comparison of Search Performance for Inverted Index-Based Engines. 13 s. Připravuje se k vydání.].

Tags

International impact
Změněno: 23/3/2017 09:58, RNDr. Michal Růžička, Ph.D.

Abstract

V originále

ScaleText version 0.7 is an early prototype of an innovative software for scalable semantic text search, aimed at evaluating the performance and technical feasibility of the project. The core of this result is a database engine, realized as a stand-alone package in the Python language, that implements document indexing and search using vectors for text representation. The vectors are created automatically from plain text using several methods for semantic analysis: LSI, LDA, TF-IDF. The documents go through several stages, from preprocessing, segmentation, vectorization to vector encoding and storage. Each step is realized by a dedicated component, with its output backed by a backend database engine for persistence. See the associated publication [RYGL, Jan, Petr SOJKA, Michal RŮŽIČKA and Radim ŘEHŮŘEK. ScaleText: The Design of a Scalable, Adaptable and User-Friendly Document System for Similarity Searches : Digging for Nuggets of Wisdom in Text. In Aleš Horák, Pavel Rychlý, Adam Rambousek. Proceedings of the Tenth Workshop on Recent Advances in Slavonic Natural Language Processing, RASLAN 2016. Brno: Tribun EU, 2016. p. 79-87, 9 pp. ISBN 978-80-263-1095-2.] for a deeper description of the design methodology, APIs and data flow. Release 0.7 includes the definition of class interfaces and dependencies, plus their instantiation using concrete algorithms of LSI and LDA, and a concrete database backend of Gensim, making the system fully end-to-end executable.

Links

TD03000295, research and development project
Name: Inteligentní software pro sémantické hledání dokumentů (Acronym: ISSHD)
Investor: Technology Agency of the Czech Republic