Diplomová práce
Získaná ocenění: Cena děkana FI za vynikající závěrečnou práci

Pareto Front Estimation in Risk-Constrained Markov Decision Processes

Bc. Martin Kurečka
Anotace

Předmětem práce je optimalizace Markovovských rozhodovacích procesů s omezením (CMDP) pomocí metody MCTS. Cílem CMDP je nalézt strategii maximalizující odměnu při současném udržení penalizace pod předem danou hranicí. Náš přínos je dvojí. Za prvé podrobně zkoumáme stávající algoritmy založené na MCTS (jmenovitě CC-POMCP a RAMCP) a demonstrujeme koncepční problémy v jejich návrhu. Za druhé představujeme …více

Abstract

The topic of the thesis is the optimisation of constrained Markov decision processes (CMDPs) using Monte Carlo tree search. CMDPs aim to find a control policy maximising a reward signal while keeping a penalty signal below a specified threshold. Our contribution is two-fold. Firstly, we provide a detailed examination of existing MCTS-based algorithms, CC-POMCP and RAMCP, and reveal and demonstrate …více

Zadání práce
The goal of the thesis is to increase the capabilities of existing risk-aware planning algorithm for Markov decision processes (MDPs) via Pareto front estimation. That is, the algorithm will compute estimates of the achievable risk-utility tradeoffs and use them to increase the quality of its decision making.

The expected contents of the thesis are the following:
- Extension of existing approaches to risk-aware MDPs with the capability to estimate risk-utility tradeoffs and to use these estimate to increase the quality of the algorithms' decision making.
- Implementation of the new algorithm in a stand-alone working tool, including an interface to work with user-defined MDP models.
- Thorough experimental evaluation of the new approach. This will include a comparison with the previous RAMCP/RAlph approached and with the Lagrangian-based method by Lee at al.
- The text part of the thesis will contain the thorough explanation of the new approach as well as the necessary explanation of the previous approaches on which the new ones build. Necessary technical preliminaries will be included. The thesis will discuss relevant related work from the area of risk-constrained planning and learning as well as a presentation and discussion of the experimental results.
Práce zkontrolována:
18. 12. 2023 10:37, doc. RNDr. Petr Novotný, Ph.D., učo 172743
Jazyk práce
angličtina angličtina
Termín obhajoby
14. 2. 2024
Práce byla úspěšně obhájena

Vedoucí

doc. RNDr. Petr Novotný, Ph.D., učo 172743
KTP FI MU

Oponent

doc. RNDr. Tomáš Brázdil, Ph.D., MBA, učo 4074
CABO KVI FI MU

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.
  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.
  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.
  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.
  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.