u 2017

Vector Space Representations in Information Retrieval

NOVOTNÝ, Vít

Basic information

Original name

Vector Space Representations in Information Retrieval

Name in Czech

Vektorové reprezentace ve vyhledávání znalostí

Authors

NOVOTNÝ, Vít (203 Czech Republic, guarantor, belonging to the institution)

Edition

Brno, 56 pp. 2017

Publisher

Fakulta Informatiky Masarykovy Univerzity

Other information

Language

English

Type of outcome

Účelové publikace

Field of Study

10201 Computer sciences, information science, bioinformatics

Country of publisher

Czech Republic

Confidentiality degree

není předmětem státního či obchodního tajemství

RIV identification code

RIV/00216224:14330/17:00094402

Organization unit

Faculty of Informatics

Keywords in English

document segmentation; synonymy; question answering; vector space model; text retrieval; information retrieval

Tags

International impact
Změněno: 1/11/2021 09:37, RNDr. Vít Starý Novotný, Ph.D.

Abstract

V originále

Modern text retrieval systems employ text segmentation during the indexing of documents. I show that, rather than returning the segments to the user, significant improvements are achieved on the semantic text similarity task by combining all segments from a single document into one result with an aggregate similarity score. Standard text retrieval methods underestimate the semantic similarity between documents that use synonymous terms. Latent semantic indexing tackles the problem by clustering frequently co-occuring terms at the cost of the periodical reindexing of dynamic document collections and the suboptimality of co-occurences as a measure of synonymy. I develop a term similarity model that suffers neither of these flaws.

In Czech

Moderní systémy pro hledání textu provádějí během vytváření databáze dokumentů segmentaci. V práci představuji postup, pomocí kterého lze během vyhledávání všechny segmenty jednoho dokumentu spojit a odvodit z nich podobnost dokumentu vůči uživatelovu dotazu. Běžné metody vyhledávání textu podceňují podobnost dokumentů, které používají rozdílnou terminologii. Latentní sémantická analýza tento problém řeší shlukováním slov, která se vyskytují dohromady. Cenou za toto řešení je však nutnost opětovně vytvářet databázi dokumentů u dynamicky se měnících kolekcí a neadekvátnost souvýskytů slov jakožto míry jejich vzájemné podobnosti. V práci představuji model, který netrpí ani jedním zmíněným nedostatkem.

Links

TD03000295, research and development project
Name: Inteligentní software pro sémantické hledání dokumentů (Acronym: ISSHD)
Investor: Technology Agency of the Czech Republic