Homogenní markovské řetězce s oceněním přechodů
Příklad 1.: Řidič taxi dlouhodobým pozorováním zjistil, že když se v daném okamžiku
nachází ve městě A, pak s pravděpodobností 0,3 poveze příštího zákazníka do města B a
s pravděpodobností 0,7 bude zákazník žádat jízdu uvnitř A. Jestliže se řidič taxi nachází ve
městě B, pak se stejnou pravděpodobností buď poveze příštího zákazníka do A nebo bude
jezdit uvnitř B. Průměrná tržba za jízdu (v obou směrech) mezi A a B činí 1000 Kč a uvnitř
měst A a B 100 Kč. Vypočítejte střední hodnotu tržby za první dvě jízdy, vyjede-li řidič
z města A resp. B.
Řešení:
Zavedeme HMŘ { }0n Nn;X  s množinou stavů J = {0,1}, přičemž Xn = 0 (resp. Xn = 1),
když v okamžiku n je řidič ve městě A (resp. B). Matice přechodu 





=
5,05,0
3,07,0
P , matice
výnosů 





=
1001000
1000100
R . Počítáme
37010003,01007,0rprpq 010100000 =+=+=
55010005,01005,0rprpq 111110101 =+=+=
q = 





550
370
, v(0) = 





0
0
n = 1: v(1) = q + Pv(0) = 





550
370
n = 2: v(2) = q + Pv(1) = 





=











+





1010
794
550
370
5,05,0
3,07,0
550
370
Interpretace: Vyjede-li řidič z města A, bude mít za první dvě jízdy v průměru tržbu 794 Kč.
Vyjede-li z města B, bude mít za první dvě jízdy v průměru tržbu 1010 Kč.
Návod na řešení v MATLABu:
Zadáme matice P, R a vektor v0: P = [0.7 0.3;0.5 0.5]; R = [100 1000;1000 100];v0=[0 0]';
Vypočteme pomocnou matici Q = P*R';
První sloupec matice Q je vektor q = Q(:,1);
Vypočteme vektor v1=q+Pv0
Vypočteme vektor v2=q+Pv1
Příklad 2.: Předpokládejme, že chovatel má slepici, která buď snáší vejce (stav 0) nebo sedí
na vejcích (stav 1). Uvažujeme období o délce 1 měsíc. Matice přechodu a matice výnosů
jsou:






=





=
6-3
28
,
7,03,0
4,06,0
RP .
a) Pomocí vytvořujících funkcí najděte vektor středních hodnot celkových výnosů po n
měsících.
b) Jaký je vektor středních hodnot celkových výnosů pro n = 1, 2, 3?
Řešení:
Zavedeme HMŘ { }0n Nn;X  s množinou stavů J = {0,1}, přičemž Xn = 0 (resp. Xn = 1),
když v měsíci n slepice snáší vejce (resp. sedí na vejcích). Matice přechodu 





=
7,03,0
4,06,0
P ,
matice výnosů 





=
6-3
28
R . Počítáme
6,524,086,0rprpq 010100000 =+=+=
3,367,033,0rprpq 111110101 -=+=+=
q = 





- 3,3
6,5
, v(0) = 





0
0
Gv(z) =
z1
z
-
(I ­ zP)-1
q = ... =
( ) 











-
-
-
+
-
+












-
70
267
70
356
10
z3
1
7
10
z1
7
10
70
36
70
36
z1
z
2
( )2
z1
z
-
je vytvořující funkce posloupnosti an = n, n = 0, 1, 2, ...
z1
1
7
10
-
 je vytvořující funkce posloupnosti an =
7
10
, n = 0, 1, 2, ...
z3,01
1
7
10
-
- je vytvořující funkce posloupnosti an = n
3,0
7
10
- , n = 0, 1, 2, ...
Celkem: v(n) = ( )












-
-+












70
267
70
356
3,01
7
10
70
36
70
36
n n
v(1) = 





- 3,3
6,5
, v(2) = 





- 93,3
64,7
, v(3) = 





- 759,3
619,8
Návod na řešení v MATLABu:
Zadáme vektor n=[0:1:24];
Napíšeme vyjádření pro první složku vektoru v(n):
v0n=n.*(36/70)+(10/7)*(1-0.3.^n)*(356/70)
Napíšeme vyjádření pro druhou složku vektoru v(n):
v1n=n.*(36/70)+(10/7)*(1-0.3.^n)*(-267/70)
Graficky znázorníme závislost středních hodnot celkových výnosů na n:
plot(n,v0n,'o', n,v1n,'*')