Závěrečná práce: Petr Mička: Utilisation of language representations for Information Retrieval
Bakalářská práce
Utilisation of language representations for Information Retrieval
Anotace
Práce je zaměřena na zlepšení kvality systémů na vyhledávání informací. Experimentuje s reprezentacemi jazyka za pomoci neuronových modelů, tzn. jako embeddingy slov nebo váhy pozornosti modelů z rodiny Transformerů. Experimentujeme s kombinováním těchto reprezentací se standardními, ale ortogonálními reprezentacemi založenými na početnosti slov, jako je TF-IDF. Naše experimenty ukazují, že vyhledávací …více
Abstract
Our work aims to create a well-performing information retrieval system utilising neural language representation models as word embeddings and attention maps of selected models of Transformers family. We also experiment with combining neural LM approaches with well-established, yet orthogonal method of TF-IDF. We show that our novel information retrieval systems can beat standard TF-IDF in quality of search and, in ensemble with TF-IDF, can deliver additional quality gains.
Zadání práce
25. 5. 2021 15:46, Mgr. Michal Štefánik, Ph.D., učo 422237
- Zadáno/změněno 7. 7. 2021 09:26, Helena Kryštofová
- Záznam založen 29. 4. 2021 13:21, Jana Zemanová, učo 9619
- Zveřejnit od 25. 5. 2021 12:42, Alena Dvořáková
- Práce převzata 25. 5. 2021 12:42, Alena Dvořáková
Přílohy
document_ids.gz
2.3.3.TF_IDF___Transformer_segmentation_Cranfield.ipynb
2.3.1.Word_Context_Similarity_Cranfield.ipynb
2.4.Attention_based_IR_system_heatmap_TREC.ipynb
2.3.2.TF_IDF___Word_Context_Similarity_Cranfield.ipynb
2.4.Attention_based_IR_system_heatmap_Cranfield.ipynb
2.2.TF_IDF_Cranfield.ipynb
Notebooks.7z
documents_ratings.gz
New_Text_Document.txt
2.4_Attention_based_IR_system_TREC_full_calculation.ipynb
2.3.1.Word_Context_Similarity_TREC_precomputing_results_cheat_low_RAM_requered.ipynb
2.2.TF_IDF_TREC.ipynb
2.3.1.Word_Context_Similarity_Cranfield_using_precomputing_results_cheat_low_RAM_requered.ipynb
2.3.2.TF_IDF___Word_Context_Similarity_TREC.ipynb
angličtina
Konzultant
Práce na příbuzné téma
Seznam prací, které mají shodná klíčová slova.
-
Evaluation and Interpretation of Word Embeddings
Mgr. Jakub Kuchár, učo 484954 -
Automatic text summarization
Mgr. Adam Hájek -
Pretraining and Evaluation of Czech ALBERT Language Model
RNDr. Petr Zelina, učo 469366 -
Mapa akcií pre verejnosť
Mgr. Lenka Horváthová -
Machine translation in a specific domain
Mgr. Tereza Vrabcová, učo 485431 -
Mining Czech Clinical Notes Using the Language Modelling Technology
Mgr. Tomáš Houfek -
Speeding up inference time of neural machine translation
Mgr. Martin Geletka, učo 456576 -
Transformer-Based Word Hyphenation
Mgr. Jan Franěk
Složky
Soubory
-
Přidání souboru
Soubor nebo složku lze nahrát pomocí tlačítka Přidat. -
Další operace se soubory
Podrobnosti lze zjistit označením příslušného řádku. -
Pohled pro experty
Pro častou práci je možné zvolit režim Více možností. -
Vyhledávání souborů
Vyhledávaný výraz můžete zadat přímo do adresního řádku. -
Rychlý přístup k souborům
Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.