3. Markovské řetězce s diskrétním časem


3.1. Definice: Definice markovského řetězce s diskrétním časem


3.2. Věta: Věta o simultánní pravděpodobnostní funkci markovského řetězce s diskrétním časem


3.3. Příklad: Nechť Y[1], Y[2], ... jsou stochasticky nezávislé náhodné veličiny, které nabývají
hodnot z množiny {..., -2, -1, 0, 1, 2, ...} (jde o tzv. celočíselné náhodné veličiny). Položme .
Dokažte, že stochastický proces  je markovský řetězec.

Řešení: Dokážeme, že levá strana v markovské vlastnosti se rovná pravé straně.

Levá strana:

.

Jevy zapsané pomocí náhodných veličin X[0], X[1], ..., X[n] se budeme snažit zapsat pomocí
náhodných veličin Y[1], Y[2], ..., Y[n],  které jsou stochasticky nezávislé.

X[0] = 0, X[1] = X[0] + Y[1]  Y[1] = X[1] - X[0],  X[2] = X[1] + Y[2]  Y[2] = X[2] – X[1], ...,
X[n]= X[n-1] + Y[n]  Y[n] = X[n] – X[n-1], tedy

Dále

.

Po dosazení do levé strany:

Pravá strana:


Protože levá strana se rovná pravé straně, je daný stochastický proces  markovský řetězec.

Speciální případ – náhodná procházka na přímce.


3.4. Příklad: Galtonův – Watsonův proces větvení


3.5. Označení


3.6. Věta: Věta o vlastnostech markovského řetězce s diskrétním časem


3.7. Poznámka: Zápis vlastností markovského řetězce s diskrétním časem v maticovém tvaru

3.8. Příklad: Nechť je dán markovský řetězec  s množinou stavů J = {0,1}. Pravděpodobnosti přechodu
1. řádu jsou dány maticí . Vektor absolutních pravděpodobností v okamžiku n je p(n) = . Jaká je
pravděpodobnost, že po jednom kroku bude řetězec ve stavu 0 (resp. 1)?


Řešení: Podle zákona evoluce máme: p(n+1) = p(n) P(n,n+1) =

Po jednom kroku tedy bude řetězec ve stavu 0 s pravděpodobností 0,4583 a ve stavu 1
s pravděpodobností 0,5417.


3.9. Definice: Definice stochastického vektoru a stochastické matice