2010
One-Counter Markov Decision Processes
BRÁZDIL, Tomáš, Václav BROŽEK, Kousha ETESSAMI, Antonín KUČERA, Dominik WOJTCZAK et. al.Základní údaje
Originální název
One-Counter Markov Decision Processes
Autoři
BRÁZDIL, Tomáš (203 Česká republika), Václav BROŽEK (203 Česká republika), Kousha ETESSAMI (840 Spojené státy), Antonín KUČERA (203 Česká republika, garant) a Dominik WOJTCZAK (616 Polsko)
Vydání
Neuveden, Proceedings of the Twenty-First Annual ACM-SIAM Symposium on Discrete Algorithms, od s. 863-874, 12 s. 2010
Nakladatel
SIAM
Další údaje
Jazyk
angličtina
Typ výsledku
Stať ve sborníku
Obor
10201 Computer sciences, information science, bioinformatics
Stát vydavatele
Česká republika
Utajení
není předmětem státního či obchodního tajemství
Kód RIV
RIV/00216224:14330/10:00043501
Organizační jednotka
Fakulta informatiky
ISBN
978-0-89871-698-6
UT WoS
000280699900070
Klíčová slova anglicky
Markov decision proces; probability; one counter MDP; reachability; termination
Příznaky
Mezinárodní význam, Recenzováno
Změněno: 24. 11. 2010 22:26, prof. RNDr. Antonín Kučera, Ph.D.
V originále
We study One-Counter Markov Decision Processes (OC-MDPs), which extend finite-state MDPs with an unbounded counter. The counter can be incremented, decremented, or not changed during each state transition. Basic objectives for OC-MDPs include ``termination'' (Does the OC-MDP reach counter 0?) and ``limit'' questions (Is the limsup value infinity?). We may ask what is the optimal probability of such objectives, or ask for the existence and synthesis of optimal strategies. We show that several quantitative and almost-sure limit problems can be answered in polynomial time, and that almost-sure termination problems (without selection of desired terminal states) can also be answered in polynomial time. On the other hand, we show that the almost-sure termination problem with selected terminal states is PSPACE-hard and we provide an exponential time algorithm for this problem. We also characterize classes of strategies that suffice for optimality in several of these settings.
Česky
V článku jsou studovány Markovovy rozhodovací procesy generované procesy s jedním neomezeným čítačem. Uvažovaná výherní kritéria zahrnují dosažitelnost a různé limitní vlastnosti běhů. V článku je dokázáno, že některé varianty těchto problémů jsou efektivně řešitelné v polynomiálním čase. O jiných je ukázáno, že jsou PSPACE těžké a je podán algoritmus s exponenciální časovou složitostí.
Návaznosti
| MSM0021622419, záměr |
| ||
| 1M0545, projekt VaV |
|