Bakalářská práce

Transformer Neural Networks for Natural Language Processing

Jonáš Konečný
Anotace

Tato práce zkoumá využití transformerových neuronových sítí pro vybrané úlohy zpracování přirozeného jazyka se zaměřením na sumarizaci textu, sumarizaci zdrojového kódu a průzkumnou generaci kódu z přirozenojazyčných popisů. Práce kombinuje teoretický úvod do transformerových architektur s implementačně zaměřenou experimentální studií využívající modelové rodiny T5 a CodeT5 společně s netransformerovým …více

Abstract

This thesis studies the use of Transformer neural networks for selected natural language processing tasks, with a focus on text summarization, code summarization, and exploratory code generation from natural-language descriptions. The work combines a theoretical introduction to Transformer architectures with an implementation-oriented experimental study using the T5 and CodeT5 model families together …více

Klíčová slova
Transformers natural language processing text summarization code summarization code generation T5 CodeT5 neural networks sequence-to-sequence models hyperparameter analysis.
Zadání práce
The thesis aims to apply Transformer Neural Networks to Natural Language Processing tasks, specifically focusing on code generation and text summarization. The objectives of the thesis are as follows:
  • Reviewing the state-of-the-art Transformer Neural Networks used in natural language processing. This involves studying existing approaches and understanding their application and performance.
  • Comparing the effectiveness and performance of Transformer Neural Networks with traditional Neural Networks in the context of natural language processing tasks.
  • Developing and implementing deep learning models based on Transformer Neural Networks for specific natural language processing tasks, such as code generation and text summarization.
  • Evaluating and comparing the performance of the developed models on various real-world datasets.
  • Evaluating the proposed model and comparing its performance with other models in the literature.
Administrativní informace
Práce zkontrolována:
29. 5. 2026 09:54, doc. Mgr. Pavel Rychlý, Ph.D., učo 3692
Plný text práce
694,8 KB / soubor PDF
Přílohy (4)
Jazyk práce
angličtina angličtina
Termín obhajoby
22. 6. 2026
Práce nebyla obhájena

Vedoucí

doc. Mgr. Pavel Rychlý, Ph.D., učo 3692
KSUZD FI MU

Oponent

RNDr. Ondřej Herman, Ph.D., učo 255821
CZPJ KSUZD FI MU

Konzultant

Nabhan Khatib
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Plán
Informatika

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.