Diplomová práce

Bayesian and Sequential Evaluation Techniques Comparison in Online Experiments

Bc. Michal Humaj
Anotace

A / B testovanie je výborná metóda na zlepšenie kľúčových metrík webových stránok. V práci prezentujeme prehľad literatúry zameranej na štatistické metódy použité pri A/B testovaní . Niektorí autori uprednostňujú bayesianské paradigmu, iní frekventistické. Nie je medzi bayesiánmi ani konsenzus o tom, do akej miery je dôležité prvotné rozdelenie a či sa dá objektívne naučiť. Autori sa však zhodujú …více

Abstract

A/B testing is a powerful method for improving website performance. We present overview of the literature focused on statistical methods used in A/B testing. Some authors prefer bayesian paradigm, others frequentist. Amongst bayesians, there is also no consensus to what extent is the prior distribution important and whether it can be objectively learnt. However, authors agree that in an online environment …více

Klíčová slova
a/b testing online experiments sequential tests statistical significance hypothesis testing
Zadání práce
A/B Testing is a subset of controlled experiments that focuses on determining the best of two different alternatives. In web development, A/B Testing is used to evaluate the efficiency of two alternative designs. The tasks foreseen in the current thesis:
  • Learn how A/B Tests work in Kentico EMS 9.0 (type of test run, what data is saved for later evaluation, how tests are evaluated);
  • Find out the existing techniques to run and evaluate A/B Tests;
  • Choose and compare the most suitable statistical techniques and approaches for running and evaluating tests (e.g. Bayesian vs. Frequentist). Design an algorithm to find out when the test is statistically significant;
  • Prove the gained knowledge on test data from Kentico EMS and discuss advantages and disadvantages of the designed algorithm compared to the one that is already being used in Kentico EMS 9.0;
Administrativní informace
Práce zkontrolována:
22. 5. 2018 09:03, doc. Bruno Rossi, PhD, učo 232464
Plný text práce
567,7 KB / soubor PDF
Přílohy (3)
Jazyk práce
angličtina angličtina
Termín obhajoby
21. 6. 2018
Práce byla úspěšně obhájena

Vedoucí

doc. Bruno Rossi, PhD, učo 232464
KPSK FI MU

Oponent

Mgr. David Komárek
Kentico
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Aplikovaná informatika
Obor

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.