Master's thesis
Awards: Dean's Award for an Outstanding Final Thesis

One Bit at a Time: Impact of Quantisation on Neural Machine Translation

Marek Petrovič
Abstract

Napriek svojej presnosti, nasadenie veľkých neurónových jazykových modelov stále čelí niekoľkým praktickým problémom. Okrem vysokej pamäťovej náročnosti, hlavnou prekážkou je rýchlosť predikcie. V prípade generatívnych modelov, čas auto-regresívneho generovania škáluje s dĺžkou výstupu. Ďalšie významné obmedzenie prekladových modelov je ich doménová špecificita, ktorá je daná doménou tréningových dát …more

Abstract

Despite the precision of the large language models, the deployment of these models still faces some practical issues. Except for being memory-demanding, the main issue lies in the speed of prediction. In the case of generative language models, the time of auto-regressive generation scales with the output length. Another significant limitation of translation models remains in their domain-specificity …more

Keywords
machine translation quantization neural networks transformers inference speed up
Thesis description
This work evaluates the benefits and drawbacks of quantisation on selected aspects of the state-of-the-art Neural Machine Translation (NMT) model of Transformer. The thesis sets the following objectives: 1. Overview and compare the suitable methods of quantisation, applicable for an architecture of Transformers. 2. Evaluate and compare the quantised model to the full-precision model regarding at least the following aspects: a) speed of the inference, b) memory efficiency and c) robustness. 3. Based on the results, identify the scenarios that can benefit from a quantised replacement of the full-precision model. The implemented experiments will be easily reproducible using the attached implementation(s).
Administrative information
The thesis has been checked:
19/5/2022 13:06, Mgr. Michal Štefánik, Ph.D., UČO 422237
Full text of thesis
1,6 MB / file PDF
Attachments (1)
Language used
English English
Defence date
22/6/2022
The thesis was defended successfully

Supervisor

Mgr. Michal Štefánik, Ph.D., UČO 422237
KVI FI MU

Reader

RNDr. Ondřej Sotolář, Ph.D., UČO 359473
KSUZD FI MU

Consultant

doc. RNDr. Petr Sojka, Ph.D., UČO 2378
KSUZD FI MU
Cite this text
Masaryk University Faculty of Informatics
Programme
Plan

Theses on a related topic

List of theses with an identical keyword.

Similar documents

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.