Bakalářská práce

Evaluation of machine-generated text detectors

Petr Šigut
Anotace

Široká dostupnost generativní umělé inteligence vytváří pro společnost nové, bezprecedentní výzvy. Ani pro lingvisty by nebylo snadné určit, zda text, který čteme, byl vygenerován velkým jazykovým modelem (LLM), nebo napsán člověkem. Výzkumníci začali vyvíjet nástroje, které odhalují obsah generovaný umělou inteligencí. Tato práce analyzuje různé způsoby detekce obsahu generovaného umělou inteligencí …více

Abstract

The wide availability of generative AI creates new, unprecedented challenges for society. It would not be easy even for linguists to tell whether the text we are reading was generated by a Large Language Model (LLM) or written by a human. Researchers started developing tools that detect AI-generated content. This thesis analyses various ways to detect AI-generated content, particularly when encountering …více

Zadání práce
Recent advancements in generative pre-trained transformers (GPT) allowed for the production of text that is almost indistinguishable from human-written content, introducing a number of unprecedented challenges to the academic environment, particularly academic integrity. Various online tools claim to be able to distinguish AI-generated from human-written text. This thesis will follow up on a study “Testing of Detection Tools for AI-Generated Text” (Weber-Wulff et. al, 2023). It will closely examine how GPT models and AI-detection tools work. It will design a clear methodology, choose tools that will take part in the testing, create a new evaluation dataset and by using various metrics assess how effective detectors are at evaluating content written in Czech and Slovak compared to English.
Práce zkontrolována:
12. 2. 2024 08:18, Mgr. Tomáš Foltýnek, Ph.D., učo 4374
Jazyk práce
angličtina angličtina
Termín obhajoby
16. 2. 2024
Práce byla úspěšně obhájena

Vedoucí

Mgr. Tomáš Foltýnek, Ph.D., učo 4374
ÚLE Teorie LF MU

Oponent

doc. Mgr. Pavel Rychlý, Ph.D., učo 3692
KSUZD FI MU

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.
  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.
  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.
  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.
  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.