Systems for Discovering Similar Documents

KASPRZAK, Jan. Systems for Discovering Similar Documents. Brno, 2010, 20 pp.

Basic information

Original name

Systems for Discovering Similar Documents

Name in Czech

Systémy pro odhalování podobných dokumentů

Authors

KASPRZAK, Jan

Edition

Brno, 20 pp. 2010

---

Other information

Language

English

Type of outcome

Odborná kniha

Field of Study

10201 Computer sciences, information science, bioinformatics

Country of publisher

Czech Republic

Confidentiality degree

není předmětem státního či obchodního tajemství

References:

URL

Organization unit

Faculty of Informatics

Keywords (in Czech)

podobné dokumenty; detekce překryvu dokumentů; plagiátorství; zpracování přirozeného jazyka; distribuované výpočty

Keywords in English

similar documents; document overlap detection; plagiarism; natural language processing; distributed computing

Tags

IS, Plagiarism

---

Abstract

V originále

With the wider availability of the electronic texts in the recent years, it has also became easier to use work of other people without the appropriate citation. Fortunately, recent developments in the area of detecting document overlap (and in general, discovery of similar documents), can also make it easier to discover the plagiarized work. The algorithms for discovering similar documents have also other uses, especially in the area of full-text search engines: either for removing duplicate documents altogether, or for preventing a subset of important but similar documents to occupy the whole first page of the search results. This proposed Ph.D. thesis will evaluate the approaches for the discovery of similar documents, especially by detecting document overlap, and verify which of them are suitable for large sets of documents. It will also focus on aspects of practical implementation on a distributed cluster of standalone computers, and usage in a production environment of the Masaryk University Information System.

In Czech

S širší dostupností elektronických textů v poslední době se také stalo jednodušším používat práci jiných bez korektní citace. Naštěstí nedávný vývoj v oblasti detekce překryvu dokumentů (a obecně v oblasti objevování podobných dokumentů) může usnadnit také objevení plagiátů. Algoritmy pro nalezení podobných dokumentů mají také další způsoby užití, zejména v oblasti fulltextových vyhledávačů: jednak pro odstranění úplných duplikátů, a jednak pro zabránění několika důležitým ale podobným dokumentům v tom, aby zabraly pro sebe celou první stranu vyhledaných výsledků. Navrhovaná disertační práce vyhodnotí přístupy k objevování podobných dokumentů, zejména pomocí detekce překryvu dokumentů, a ověří, které z nich jsou vhodné pro velké množiny dokumentů. Také se zaměří na praktické aspekty implementace na clusteru samostatných počítačů, a na použití v produkčním prostředí Informačního systému Masarykovy univerzity.