Bakalářská práce

Risk-Aware Planners for Partially Observable Environments

Ondřej Zugárek
Anotace

Markovské rozhodovací procesy s omezením (CMDP) představují matematický rámec pro modelování stochastických systémů, v nichž se autonomní agent snaží maximalizovat hlavní cíl při současném dodržení předem stanovených omezení v nejistém prostředí. CMDP předpokládají, že má agent úplné informace o svém aktuálním stavu i o stavu prostředí. Tato práce navazuje na výzkum Martina Kurečky s názvem "Pareto …více

Abstract

Constrained Markov Decision Processes (CMDPs) provide a mathematical framework for modeling stochastic systems, where an autonomous agent aims to maximize a primary objective while satisfying predefined constraints in uncertain environments. CMDPs assume the agent has a complete information about its current state and environment. Building on the work of Martin Kurečka in "Pareto Front Estimation in …více

Klíčová slova
CPOMDP CMDP Partially observable UCT Pareto Particle filter Belief state T-UCT
Zadání práce
The goal of the thesis is to extend the T-UCT algorithm for planning in constrained Markov decision processes so that it can handle partially observable environments. The expected outputs are as follows:
  • A design of a partially observable version of the T-UCT algorithm inspired by the POMCP algorithm for unconstrained optimization (e.g., the use of particle filter for belief estimation).
  • Implementation of the newly designed T-UCT extension on top of the existing codebase.
  • A text part of the thesis will briefly explain the necessary theoretical background, as well as the proposed modifications (on both conceptual and implementation level).
  • An experimental evaluation of the newly designed algorithm, including comparison with previous work.
Administrativní informace
Práce zkontrolována:
28. 5. 2025 10:27, doc. RNDr. Petr Novotný, Ph.D., učo 172743
Plný text práce
1,4 MB / soubor PDF
Přílohy (1)
Jazyk práce
angličtina angličtina
Termín obhajoby
23. 6. 2025
Práce byla úspěšně obhájena

Vedoucí

doc. RNDr. Petr Novotný, Ph.D., učo 172743
KTP FI MU

Oponent

doc. RNDr. Tomáš Brázdil, Ph.D., MBA, učo 4074
KSUZD FI MU
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Plán
Programování a vývoj aplikací

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.