J 2017

Trading performance for stability in Markov decision processes

BRÁZDIL, Tomáš, Krishnendu CHATTERJEE, Vojtěch FOREJT a Antonín KUČERA

Základní údaje

Originální název

Trading performance for stability in Markov decision processes

Autoři

BRÁZDIL, Tomáš (203 Česká republika, domácí), Krishnendu CHATTERJEE (40 Rakousko), Vojtěch FOREJT (203 Česká republika, domácí) a Antonín KUČERA (203 Česká republika, garant, domácí)

Vydání

Journal of Computer and System Sciences, SAN DIEGO, Elsevier, 2017, 0022-0000

Další údaje

Jazyk

angličtina

Typ výsledku

Článek v odborném periodiku

Obor

10201 Computer sciences, information science, bioinformatics

Stát vydavatele

Spojené státy

Utajení

není předmětem státního či obchodního tajemství

Impakt faktor

Impact factor: 1.497

Kód RIV

RIV/00216224:14330/17:00094587

Organizační jednotka

Fakulta informatiky

DOI

UT WoS

000388430000011

Klíčová slova anglicky

Markov decision processes; Mean payoff; Stability; Stochastic systems; Controller synthesis

Štítky

Příznaky

Mezinárodní význam, Recenzováno
Změněno: 27. 4. 2018 10:34, RNDr. Pavel Šmerk, Ph.D.

Anotace

V originále

We study controller synthesis problems for finite-state Markov decision processes, where the objective is to optimize the expected mean-payoff performance and stability (also known as variability in the literature). We argue that the basic notion of expressing the stability using the statistical variance of the mean payoff is sometimes insufficient, and propose an alternative definition. We show that a strategy ensuring both the expected mean payoff and the variance below given bounds requires randomization and memory, under both the above definitions. We then show that the problem of finding such a strategy can be expressed as a set of constraints.

Návaznosti

GA15-17564S, projekt VaV
Název: Teorie her jako prostředek pro formální analýzu a verifikaci počítačových systémů
Investor: Grantová agentura ČR, Teorie her jako prostředek pro formální analýzu a verifikaci počítačových systémů