Bachelor's thesis

Gradient boosting of decision trees

Gradientní boosting rozhodovacích stromů

Oskar Klíma, UČO 503185
Abstract

Tato bakalářská práce se zabývá metodami strojového učení založenými na gradientním boostingu rozhodovacích stromů. V teoretické části je podrobně popsán model XGBoost z matematického pohledu a jsou představena specifika dalších modelů, jako jsou LightGBM, CatBoost, NGBoost a PGBM. V praktické části jsou modely využity pro predikci splácení úvěru a výše zhodnocení investice do půjčky z P2P platformy …more

Abstract

This bachelor's thesis focuses on machine learning methods based on gradient boosting of decision trees. In the theoretical part, the XGBoost model is described in detail from a mathematical point of view, and the specifics of other models, such as LightGBM, CatBoost, NGBoost, and PGBM, are presented. In the practical part, the models are used for predicting loan repayment and the return on investment …more

Keywords
gradientní boosting XGBoost LightGBM CatBoost NGBoost PGBM TabPFN GBM rozhodovací stromy strojové učení učení s učitelem ansámblové metody boosting gradient boosting decision trees machine learning supervised learning ensemble methods
Thesis description
Cílem práce je analyzovat metody strojového učení založené na rozhodovacích stromech se zaměřením na gradient boosting. V teoretické části bude popsána matematická formulace gradientního boostingu, různé typy ztrátových funkcí a jejich interpretace, konstrukce rozhodovacích stromů a algoritmy využívané v rámci boostingu včetně jejich variant. V praktické části budou algoritmy implementovány v prostředí Python nebo R a aplikovány na datový soubor ekonomického či finančně-matematického charakteru.
Administrative information
The thesis has been checked:
12/5/2026 13:46, Mgr. Ondřej Pokora, Ph.D., UČO 42536
Full text of thesis
483,7 KB / file PDF
Attachments (2)
Language used
Czech Czech
Defence date
23/6/2026
The thesis was defended successfully

Supervisor

Mgr. Ondřej Pokora, Ph.D., UČO 42536
ÚMS Ústavy PřF MU

Reader

Mgr. Markéta Barać Makarová, UČO 468063
HEALTH FSpS MU

Literature

  • HASTIE, Trevor; Robert TIBSHIRANI and J. H. FRIEDMAN. The elements of statistical learning : data mining, inference, and prediction. 2nd ed. New York, N.Y.: Springer, 2009, xxii, 745. ISBN 9780387848570.
  • GÉRON, Aurélien. Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow : concepts, tools, and techniques to build intelligent systems. Third edition. Beijing: O'Reilly, 2022, xxv, 834. ISBN 9781098125974.
Cite this text
Masaryk University Faculty of Science
Programme
Plan
Financial and Insurance Mathematics

Theses on a related topic

List of theses with an identical keyword.

Similar documents

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.