Bakalářská práce
Získaná ocenění: Cena děkana FI za vynikající závěrečnou práci

Automatic text summarization

Adam Hájek
Anotace

Tato bakalářská práce se zabývá posledními průlomy v abstraktivní sumarizaci, přičemž se zaměřuje především na vliv velkých jazykových modelů, které staví na architektuře Transformeru. Součástí práce je také vytvoření nového abstraktivního sumarizátoru pro češtinu, jehož jádrem je GPT-2, model publikovaný v roce 2019 společností OpenAI. Postupně ukazujeme, jak probíhájí jednotlivé tréninkové fáze a …více

Abstract

This thesis investigates recent breakthroughs in single-document abstractive text summarization. The main focus is on the impact of large Transformer-based language models on the task. Part of the work is also a creation of a new abstractive summarizer for the Czech language. The core of the summarizer is the GPT-2 model, released by OpenAI in 2019. We describe the procedure of pre-training and fine …více

Klíčová slova
summarization abstractive summarization NLP Czech language deep learning neural networks transformers GPT-2
Zadání práce

Metody sumarizace textu jsou obvykle založeny buď na výběru nejdůležitějších částí textu (extraktivní sumarizace) nebo na tvorbě vlastního popisu analyzovaného textu (abstraktivní sumarizace). S příchodem moderních architektur neuronových sítí schopných generovat text je v posledních letech abstraktivní sumarizace na vzestupu.

Cílem práce je prostudovat a popsat poslední výsledky v oblasti metod sumarizace textu s důrazem na sumarizaci abstraktivní. Dále prozkoumat, provést a vyhodnotit současné efektivní metody trénování jazykového modelu GPT-2 pro generování českého textu a ten použít jako základ pro vytvoření abstraktivního sumarizátoru.

Výsledná práce se bude skládat jednak z praktické části v podobě funkčního implementovaného systému, jednak z textové části obsahující přehled řešených projektů na podobné téma ve světě, popis použitých podkladových technik a analýzu, návrh a popis implementace vlastního systému a vyhodnocení jeho úspěšnosti.

Administrativní informace
Práce zkontrolována:
27. 5. 2021 08:38, doc. RNDr. Aleš Horák, Ph.D., učo 1648
Plný text práce
1,5 MB / soubor PDF
Přílohy (1)
Jazyk práce
angličtina angličtina
Termín obhajoby
29. 6. 2021
Práce byla úspěšně obhájena

Vedoucí

doc. RNDr. Aleš Horák, Ph.D., učo 1648
KSUZD FI MU

Oponent

doc. Mgr. Pavel Rychlý, Ph.D., učo 3692
KSUZD FI MU
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Informatika
Obor

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.