Diplomová práce
Získaná ocenění: Cena děkana FI za vynikající závěrečnou práci

One Bit at a Time: Impact of Quantisation on Neural Machine Translation

Marek Petrovič
Anotace

Napriek svojej presnosti, nasadenie veľkých neurónových jazykových modelov stále čelí niekoľkým praktickým problémom. Okrem vysokej pamäťovej náročnosti, hlavnou prekážkou je rýchlosť predikcie. V prípade generatívnych modelov, čas auto-regresívneho generovania škáluje s dĺžkou výstupu. Ďalšie významné obmedzenie prekladových modelov je ich doménová špecificita, ktorá je daná doménou tréningových dát …více

Abstract

Despite the precision of the large language models, the deployment of these models still faces some practical issues. Except for being memory-demanding, the main issue lies in the speed of prediction. In the case of generative language models, the time of auto-regressive generation scales with the output length. Another significant limitation of translation models remains in their domain-specificity …více

Klíčová slova
machine translation quantization neural networks transformers inference speed up
Zadání práce
This work evaluates the benefits and drawbacks of quantisation on selected aspects of the state-of-the-art Neural Machine Translation (NMT) model of Transformer. The thesis sets the following objectives: 1. Overview and compare the suitable methods of quantisation, applicable for an architecture of Transformers. 2. Evaluate and compare the quantised model to the full-precision model regarding at least the following aspects: a) speed of the inference, b) memory efficiency and c) robustness. 3. Based on the results, identify the scenarios that can benefit from a quantised replacement of the full-precision model. The implemented experiments will be easily reproducible using the attached implementation(s).
Administrativní informace
Práce zkontrolována:
19. 5. 2022 13:06, Mgr. Michal Štefánik, Ph.D., učo 422237
Plný text práce
1,6 MB / soubor PDF
Přílohy (1)
Jazyk práce
angličtina angličtina
Termín obhajoby
22. 6. 2022
Práce byla úspěšně obhájena

Vedoucí

Mgr. Michal Štefánik, Ph.D., učo 422237
KVI FI MU

Oponent

RNDr. Ondřej Sotolář, Ph.D., učo 359473
KSUZD FI MU

Konzultant

doc. RNDr. Petr Sojka, Ph.D., učo 2378
KSUZD FI MU
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Plán

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.