Systems for Discovering Similar Documents

KASPRZAK, Jan. Systems for Discovering Similar Documents. Brno, 2010, 20 pp.

Basic information

• Original name: Systems for Discovering Similar Documents
• Name in Czech: Systémy pro odhalování podobných dokumentů
• Authors: KASPRZAK, Jan.
• Edition: Brno, 20 pp. 2010.

Other information

• Original language: English
• Type of outcome: Book on a specialized topic
• Field of Study: 10201 Computer sciences, information science, bioinformatics
• Country of publisher: Czech Republic
• Confidentiality degree: is not subject to a state or trade secret
• WWW: URL
• Organization unit: Faculty of Informatics
• Keywords (in Czech): podobné dokumenty; detekce překryvu dokumentů; plagiátorství; zpracování přirozeného jazyka; distribuované výpočty
• Keywords in English: similar documents; document overlap detection; plagiarism; natural language processing; distributed computing
• Tags: IS, Plagiarism

Abstract

With the wider availability of the electronic texts in the recent years, it has also became easier to use work of other people without the appropriate citation. Fortunately, recent developments in the area of detecting document overlap (and in general, discovery of similar documents), can also make it easier to discover the plagiarized work. The algorithms for discovering similar documents have also other uses, especially in the area of full-text search engines: either for removing duplicate documents altogether, or for preventing a subset of important but similar documents to occupy the whole first page of the search results. This proposed Ph.D. thesis will evaluate the approaches for the discovery of similar documents, especially by detecting document overlap, and verify which of them are suitable for large sets of documents. It will also focus on aspects of practical implementation on a distributed cluster of standalone computers, and usage in a production environment of the Masaryk University Information System.

Abstract (in Czech)

S širší dostupností elektronických textů v poslední době se také stalo jednodušším používat práci jiných bez korektní citace. Naštěstí nedávný vývoj v oblasti detekce překryvu dokumentů (a obecně v oblasti objevování podobných dokumentů) může usnadnit také objevení plagiátů. Algoritmy pro nalezení podobných dokumentů mají také další způsoby užití, zejména v oblasti fulltextových vyhledávačů: jednak pro odstranění úplných duplikátů, a jednak pro zabránění několika důležitým ale podobným dokumentům v tom, aby zabraly pro sebe celou první stranu vyhledaných výsledků. Navrhovaná disertační práce vyhodnotí přístupy k objevování podobných dokumentů, zejména pomocí detekce překryvu dokumentů, a ověří, které z nich jsou vhodné pro velké množiny dokumentů. Také se zaměří na praktické aspekty implementace na clusteru samostatných počítačů, a na použití v produkčním prostředí Informačního systému Masarykovy univerzity.