Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Drsná matematika IV – 8. přednáška Základní typy a vlastnosti náhodných veličin Jan Slovák Masarykova univerzita Fakulta informatiky 16. 4. 2012 Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Obsah přednášky 1 Literatura 2 Pravděpodobnostní funkce a hustoty 3 Náhodné vektory 4 Číslené charakteristiky distribucí Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Plán přednášky 1 Literatura 2 Pravděpodobnostní funkce a hustoty 3 Náhodné vektory 4 Číslené charakteristiky distribucí Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Kde je dobré číst? vlastní poznámky, texty současného přednášejícího, GOOGLE, atd. Karel Zvára, Josef Štěpán, Pravděpodobnost a matematická pravděpodobnost statistika, Matfyzpress, 2006, 230pp. Marie Budíková, Štěpán Mikoláš, Pavel Osecký, Teorie pravděpodobnosti a matematická statistika (sbírka příkladů), Masarykova univerzita, 3. vydání, 2004, 117 stran, ISBN 80-210-3313-4. Marie Budíková, Tomáš Lerch, Štěpán Mikoláš, Základní statistické metody, Masarykova univerzita, 2005, 170 stran, ISBN 80-210-3886-1. Riley, K.F., Hobson, M.P., Bence, S.J. Mathematical Methods for Physics and Engineering, second edition, Cambridge University Press, Cambridge 2004, ISBN 0 521 89067 5, xxiii + 1232 pp. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Plán přednášky 1 Literatura 2 Pravděpodobnostní funkce a hustoty 3 Náhodné vektory 4 Číslené charakteristiky distribucí Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Diskrétní náhodné veličiny Jestliže náhodná veličina X na pravděpodobnostním prostoru (Ω, A, P) nabývá jen konečně (nebo spočetně) mnoha hodnot x1, x2, · · · ∈ R, pak existuje pravděpodobnostní funkce f (x) taková, že f (x) = P(X = xi ) x = xi 0 jinak. Spojité náhodné veličiny Hustota f (x) pravděpodobnosti pro náhodnou veličinu X je funkce splňující pro −∞ ≤ a ≤ b ≤ ∞ P(a < X < b) = b a f (x)dx. (∗) Náhodná veličina X, pro kterou existuje její hustota pravděpodobnosti splňující (∗), se nazývá spojitá. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Degenerované rozdělení Dg(µ). Toto rozdělení odpovídá konstantní hodnotě X = µ. Distribuční funkce FX a pravděpodobnostní funkce fX jsou tedy rovny FX (t) = 0 t ≤ µ 1 t > µ fX (t) = 1 t = µ 0 jinak . Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Degenerované rozdělení Dg(µ). Toto rozdělení odpovídá konstantní hodnotě X = µ. Distribuční funkce FX a pravděpodobnostní funkce fX jsou tedy rovny FX (t) = 0 t ≤ µ 1 t > µ fX (t) = 1 t = µ 0 jinak . Alternativní rozdělení A(p) popisuje pokus s pouze dvěma možnými výsledky, kterým budeme říkat zdar a nezdar. Náhodné veličině X pro určitost přiřadíme hodnotu 0 pro nezdar a 1 pro zdar. Pokud má zdar pravděpodobnost p, pak nezdar musí mít pravděpodobnost 1 − p. Jsou tedy distribuční a pravděpodobnostní funkce tvaru: FX (t) =    0 t ≤ 0 1 − p 0 < t ≤ 1 1 t > 1 fX (t) =    p t = 1 1 − p t = 0 0 jinak . Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Binomické rozdělení Bi(n, p) odpovídá n–krát nezávisle opakovanému pokusu popsanému alternativním rozdělením, přičemž naše náhodná veličina měří počet zdarů. Je tedy zjevné, že pravděpodobnostní funkce bude mít nenulové hodnoty právě v celých číslech 0, . . . , n odpovídajícím celkovému počtu úspěchů v pokusech (a nezáleží nám na pořadí). Je tedy fX (t) = n t pt(1 − p)1−t t ∈ {0, 1, . . . , n} 0 jinak . Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Na obrázku jsou pravděpodobnostní funkce pro Bi(50, 0.2), Bi(50, 0.5) a Bi(50, 0.9). Rozdělení pravděpodobnosti dobře odpovídá intuici, že nejvíce výsledků bude blízko u hodnoty np: Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí S binomickým rozdělením se potkáváme velice často v praktických úlohách. Jednou z nich je popis náhodné veličiny, která popisuje počet X předmětů v jedné zvolené příhrádek z n možných, do nichž jsme náhodně rozdělili r předmětů. Umístění kteréhokoliv předmětu do pevně zvolené přihrádky má pravděpodobnost 1/n (každá z nich je stejně pravděpodobná). Zjevně tedy bude pro jakýkoliv počet k = 0, . . . , r P(X = k) = r k 1 n k 1 − 1 n r−k = r k (n − 1)r−k nr , jde proto o rozložení X typu Bi(r, 1/n). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Jestliže nám bude vzrůstat počet přihrádek n společně s počtem předmětů rn tak, že v průměru nám na každou přihrádku bude připadat (přibližně) stejný počet prvků λ, můžeme dobře vyjádřit chování našeho rozdělení veličin Xn při limitním přechodu n → ∞: Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Jestliže nám bude vzrůstat počet přihrádek n společně s počtem předmětů rn tak, že v průměru nám na každou přihrádku bude připadat (přibližně) stejný počet prvků λ, můžeme dobře vyjádřit chování našeho rozdělení veličin Xn při limitním přechodu n → ∞: lim n→∞ P(Xn = k) = lim n→∞ rn k (n − 1)rn−k nrn = lim n→∞ rn(rn − 1) . . . (rn − k + 1) (n − 1)k 1 k! 1 − 1 n rn = λk k! lim n→∞ 1 + −rn n rn rn = λk k! e−λ protože obecně funkce (1 + x/n)n konvergují stejnoměrně k funkci ex na každém omezeném intervalu v R. To dává Poissonovo rozdělení Po(λ). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Poissonovo rozdělení Po(λ) popisuje např. události, které se vyskytují náhodně v čase a přitom pravděpodobnost výskytu v následujícím časovém intervalu o jednotkové délce nezávisí na předchozí historii a je rovna stále stejné hodnotě λ. V praxi jsou takové procesy spojeny např. s poruchovostí strojů a zařízení. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Poissonovo rozdělení Po(λ) popisuje např. události, které se vyskytují náhodně v čase a přitom pravděpodobnost výskytu v následujícím časovém intervalu o jednotkové délce nezávisí na předchozí historii a je rovna stále stejné hodnotě λ. V praxi jsou takové procesy spojeny např. s poruchovostí strojů a zařízení. Theorem (Poissonova věta) Jsou-li Xn ∼ Bi(n, pn) a limn→∞ n · pn = λ je konečná, pak lim n→∞ P(Xn = k) = P(X = k), kde X ∼ Po(λ). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Příklady spojitých rozdělení Nejjednodušší je tzv. rovnoměrné rozdělení. Jestliže chceme, aby pravděpodobnost každé hodnoty v předem daném intervalu (a, b) ⊂ R byla stejná, pak hustota fX našeho rozdělení náhodné veličiny X má být konstantní. Pak ovšem jsou pro libovolná reálná čísla −∞ < a < b < ∞ jen jediné možné hodnoty fX (t) =    0 t ≤ a 1 b−a t ∈ (a, b) 0 t ≥ b, FX (t) =    0 t ≤ a t−a b−a t ∈ (a, b) 1 t ≥ b. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Exponenciální rozdělení ex(λ) je dalším rozdělením, které je snadno určeno požadovanými vlastnostmi náhodné veličiny. Předpokládejme, že sledujeme výskyt náhodného jevu tak, že výskyty v nepřekrývajících se intervalech jsou nezávislé. Je-li tedy P(t) pravděpodobnost, že jev nenastane během intervalu délky t, pak nutně P(t + s) = P(t)P(s) pro všechna t, s > 0. Předpokládejme navíc diferencovatelnost funkce P a P(0) = 1. Pak ln P(t + s) = ln P(t) + ln P(s). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Exponenciální rozdělení ex(λ) je dalším rozdělením, které je snadno určeno požadovanými vlastnostmi náhodné veličiny. Předpokládejme, že sledujeme výskyt náhodného jevu tak, že výskyty v nepřekrývajících se intervalech jsou nezávislé. Je-li tedy P(t) pravděpodobnost, že jev nenastane během intervalu délky t, pak nutně P(t + s) = P(t)P(s) pro všechna t, s > 0. Předpokládejme navíc diferencovatelnost funkce P a P(0) = 1. Pak ln P(t + s) = ln P(t) + ln P(s). Limitním přechodem: lim s→0+ ln P(t + s) − ln P(t) s = (ln P) (0) = −λ. Odtud vyplývá diferenciální rovnice (ln P(t)) = −λ. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Odtud dostáváme ln P(t) = −λt + C a počáteční podmínka dává jediné řešení P(t) = e−λt . Všimněme si, že z definice našich objektů vyplývá, že λ > 0. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Odtud dostáváme ln P(t) = −λt + C a počáteční podmínka dává jediné řešení P(t) = e−λt . Všimněme si, že z definice našich objektů vyplývá, že λ > 0. Uvažme náhodnou veličinu X udávající okamžik, kdy náš jev poprvé nastane. Zřejmě tedy je distribuční funkce rozdělení pro X dána FX (t) = 1 − P(t) = 1 − e−λt t > 0 0 t ≤ 0. Je vidět, že je to rostoucí funkce s hodnotami mezi nulou a jedničkou a správnými limitami v ±∞. Hustotu tohoto rozdělení dostaneme derivováním distribuční funkce, tj. fX = λe−λt t > 0 0 t ≤ 0. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Normální rozdělení je ze všech nejdůležitější. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Normální rozdělení je ze všech nejdůležitější. Jestliže v binomiálním rozdělení zachováme konstatní úspěšnost p, ale budeme přidávat počet pokusů n, bude pravděpodobnostní funkce kupodivu pořád mít podobný tvar (i když jiné rozměry). Na obrázku při rostoucím n se budou vynesené bodové hodnoty slévat do křivky, pro hodnoty Bi(500, 0.5) a Bi(5000, 0.5) je výsledek vidět na obrázku níže. Třetí křivka na obrázku je grafem funkce f (x) = e−x2/2. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Hledáme-li podobné spojité rozdělení, potřebovali bychom spočíst b a e−x2/2 dx což není pomocí elementárních funkcí možné. Je však možné (i když ne úplně snadné) ověřit, že příslušný nevlastní integrál konverguje k hodnotě ∞ −∞ e−x2/2 dx = √ 2π. Odtud vyplývá, že možná hustota rozdělení náhodného rozdělení může být fX (x) = 1 √ 2π ex . Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Hledáme-li podobné spojité rozdělení, potřebovali bychom spočíst b a e−x2/2 dx což není pomocí elementárních funkcí možné. Je však možné (i když ne úplně snadné) ověřit, že příslušný nevlastní integrál konverguje k hodnotě ∞ −∞ e−x2/2 dx = √ 2π. Odtud vyplývá, že možná hustota rozdělení náhodného rozdělení může být fX (x) = 1 √ 2π ex . Rozdělení s touto hustotou se nazývá normální rozdělení N(0, 1). Příslušnou distribuční funkci FX (x) = x −∞ e−x2/2 dx nelze vyjádřit pomocí elementárních funkcí, přesto se s ní numericky běžně počítá (pomocí tabulek nebo softwarových aplikací). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Hledáme-li podobné spojité rozdělení, potřebovali bychom spočíst b a e−x2/2 dx což není pomocí elementárních funkcí možné. Je však možné (i když ne úplně snadné) ověřit, že příslušný nevlastní integrál konverguje k hodnotě ∞ −∞ e−x2/2 dx = √ 2π. Odtud vyplývá, že možná hustota rozdělení náhodného rozdělení může být fX (x) = 1 √ 2π ex . Rozdělení s touto hustotou se nazývá normální rozdělení N(0, 1). Příslušnou distribuční funkci FX (x) = x −∞ e−x2/2 dx nelze vyjádřit pomocí elementárních funkcí, přesto se s ní numericky běžně počítá (pomocí tabulek nebo softwarových aplikací). Hustotě fX se také často říká Gaussova křivka. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Plán přednášky 1 Literatura 2 Pravděpodobnostní funkce a hustoty 3 Náhodné vektory 4 Číslené charakteristiky distribucí Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Obdobně definujeme distribuční funkce a hustotu a pravděpodobnostní funkci pro spojité a diskrétní náhodné vektory. Hovoříme také o simultánních (sdružených) pravděpodobnostních funkcích a hustotách. Pro dvě proměnné (vektor (X, Y ) náhodných veličin): f (x, y) = P(X = xi ∧ Y = yj ) x = xi ∧ y = yj 0 jinak. u diskrétních a pro všechny a, b ∈ R pro spojité: F(b, a) = P(−∞ < X < b, ∞ < Y < a) = a −∞ b −∞ f (x, y)dxdy. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Marginální rozložení pro jednu z proměnných obdržíme tak, že přes ostatní posčítáme nebo zintegrujeme. Např. u diskrétních vektorových veličin (X, Y ) tvoří jevy (X = xi , Y = yj ) pro všechny možné hodnoty xi a yj s nenulovými pravděpodobnostmi pro X a Y úplný systém jevů pro vektor (X, Y ) a dostáváme vztah: P(X = xi ) = ∞ j=1 P(X = xi , Y = yj ) mezi marginálním rozdělením pravděpodobnosti náhodné veličiny X a sdruženým rozdělením pravděpodobnosti náhodného vektoru (X, Y ). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Náhodné veličiny X a Y jsou stochasticky nezávislé, jestliže jejich sdružená distribuční funkce splňuje F(x, y) = G(x) · H(y), kde F a G jsou distribuční funkce veličin X a Y . Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Plán přednášky 1 Literatura 2 Pravděpodobnostní funkce a hustoty 3 Náhodné vektory 4 Číslené charakteristiky distribucí Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Uvažme náhodnou veličinu Y s rozdělením pravděpodobnosti P(Y = k) = 1/n, k = 1, 2, . . . , n, tj. pro n = 6 popisujeme hod férovou kostkou. Průměr 1 2 (n + 1) bude patrně bude dobře vystihovat „očekávanou průměrnou hodnotu“. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Uvažme náhodnou veličinu Y s rozdělením pravděpodobnosti P(Y = k) = 1/n, k = 1, 2, . . . , n, tj. pro n = 6 popisujeme hod férovou kostkou. Průměr 1 2 (n + 1) bude patrně bude dobře vystihovat „očekávanou průměrnou hodnotu“. Při binomickém rozdělení Bi(n, p) můžeme stejně dobře použít „váženého průměru“, který vyjádří „průměrné očekávání“: n k=0 k n k pk (1 − p)n−k = np n k=1 (n − 1)! (n − k)!(k − 1)! pk−1 (1 − p)n−k = np n−1 j=0 (n − 1)! (n − j − 1)!j! pj (1 − p)n−j−1 = np, (protože součet pravděpodobností v každém binomickém rozdělení je jedna). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Střední hodnota Nechť X je náhodná veličina s diskrétním rozdělením. Jestliže řada ∞ k=1 xi P(X = xi ) konverguje absolutně (zejména tedy pro všechny X s konečně mnoha možnými hodnotami xi ), pak její součet E X nazýváme střední hodnotou X. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Střední hodnota Nechť X je náhodná veličina s diskrétním rozdělením. Jestliže řada ∞ k=1 xi P(X = xi ) konverguje absolutně (zejména tedy pro všechny X s konečně mnoha možnými hodnotami xi ), pak její součet E X nazýváme střední hodnotou X. Je-li X náhodná veličina se spojitým rozdělením s hustotou f (x) a nevlastní integrál ∞ −∞ xf (x)dx konverguje absolutně, pak jeho hodnota E X se nazývá střední hodnota X. Je tedy E X = np, je-li X ∼ Bi(n, p), zatímco pro rovnoměrné rozdělení na intervalu (a, b) dostaneme dle očekávání E X = b a 1 b − a dx = 1 2 b2 − a2 b − a = 1 2 (a + b). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky distribucí Vlastnosti střední hodnoty Theorem Uvažme náhodné veličiny X, Y , skaláry a, b ∈ R, náhodný vektor W = (X1, . . . , Xn) a čtvercovou skalární matici B s n řádky. Pro konstantní náhodnou veličinu X = a ∈ R je E a = a. E(a + bX) = a + b E X. E(X + Y ) = E + Y. E(a + BX) = a + B(E X).