Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Matematika III – 8. týden Základní typy a vlastnosti náhodných veličin Jan Slovák Masarykova univerzita Fakulta informatiky 5.11. 2013 Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Obsah přednášky 1 Literatura 2 Pravděpodobnostní funkce a hustoty 3 Náhodné vektory 4 Číslené charakteristiky veličin Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Plán přednášky 1 Literatura 2 Pravděpodobnostní funkce a hustoty 3 Náhodné vektory 4 Číslené charakteristiky veličin Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Kde je dobré číst? vlastní poznámky, texty současného přednášejícího, GOOGLE, atd. Karel Zvára, Josef Štěpán, Pravděpodobnost a matematická pravděpodobnost statistika, Matfyzpress, 2006, 230pp. J. Slovák, M. Panák, M. Bulant, Matematika drsně a svižně, Muni Press, Brno 2013, v+773 s., elektronická edice www.math.muni.cz/Matematika_drsne_svizne Marie Budíková, Štěpán Mikoláš, Pavel Osecký, Teorie pravděpodobnosti a matematická statistika (sbírka příkladů), Masarykova univerzita, 3. vydání, 2004, 117 stran, ISBN 80-210-3313-4. Marie Budíková, Tomáš Lerch, Štěpán Mikoláš, Základní statistické metody, Masarykova univerzita, 2005, 170 stran, ISBN 80-210-3886-1. Riley, K.F., Hobson, M.P., Bence, S.J. Mathematical Methods for Physics and Engineering, second edition, Cambridge Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Plán přednášky 1 Literatura 2 Pravděpodobnostní funkce a hustoty 3 Náhodné vektory 4 Číslené charakteristiky veličin Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Diskrétní náhodné veličiny Jestliže náhodná veličina X na pravděpodobnostním prostoru (Ω, A, P) nabývá jen konečně nebo spočetně mnoha hodnot x1, x2, · · · ∈ R, pak existuje pravděpodobnostní funkce f (x) taková, že f (x) = P(X = xi ) x = xi 0 jinak. Spojité náhodné veličiny Hustota f (x) pravděpodobnosti pro náhodnou veličinu X je funkce splňující pro −∞ ≤ a ≤ b ≤ ∞ P(a < X < b) = b a f (x)dx. (∗) Náhodná veličina X, pro kterou existuje její hustota pravděpodobnosti splňující (∗), se nazývá spojitá. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Degenerované rozdělení Dg(µ). Toto rozdělení odpovídá konstantní hodnotě X = µ. Distribuční funkce FX a pravděpodobnostní funkce fX jsou tedy rovny FX (t) = 0 t ≤ µ 1 t > µ fX (t) = 1 t = µ 0 jinak . Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Degenerované rozdělení Dg(µ). Toto rozdělení odpovídá konstantní hodnotě X = µ. Distribuční funkce FX a pravděpodobnostní funkce fX jsou tedy rovny FX (t) = 0 t ≤ µ 1 t > µ fX (t) = 1 t = µ 0 jinak . Alternativní rozdělení A(p) popisuje pokus s pouze dvěma možnými výsledky, kterým budeme říkat zdar a nezdar. Náhodné veličině X pro určitost přiřadíme hodnotu 0 pro nezdar a 1 pro zdar. Pokud má zdar pravděpodobnost p, pak nezdar musí mít pravděpodobnost 1 − p. Jsou tedy distribuční a pravděpodobnostní funkce tvaru: FX (t) =    0 t ≤ 0 1 − p 0 < t ≤ 1 1 t > 1 fX (t) =    p t = 1 1 − p t = 0 0 jinak . Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Binomické rozdělení Bi(n, p) odpovídá n–krát nezávisle opakovanému pokusu popsanému alternativním rozdělením, přičemž naše náhodná veličina měří počet zdarů. Je tedy zjevné, že pravděpodobnostní funkce bude mít nenulové hodnoty právě v celých číslech 0, . . . , n odpovídajícím celkovému počtu úspěchů v pokusech (a nezáleží nám na pořadí). Je tedy fX (t) = n t pt(1 − p)1−t t ∈ {0, 1, . . . , n} 0 jinak . Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Na obrázku jsou pravděpodobnostní funkce pro Bi(50, 0.2), Bi(50, 0.5) a Bi(50, 0.9). Rozdělení pravděpodobnosti dobře odpovídá intuici, že nejvíce výsledků bude blízko u hodnoty np: Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin S binomickým rozdělením se potkáváme velice často v praktických úlohách. Jednou z nich je popis náhodné veličiny, která popisuje počet X předmětů v jedné zvolené příhrádek z n možných, do nichž jsme náhodně rozdělili r předmětů. Umístění kteréhokoliv předmětu do pevně zvolené přihrádky má pravděpodobnost 1/n (každá z nich je stejně pravděpodobná). Zjevně tedy bude pro jakýkoliv počet k = 0, . . . , r P(X = k) = r k 1 n k 1 − 1 n r−k = r k (n − 1)r−k nr , jde proto o rozložení X typu Bi(r, 1/n). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Jestliže nám bude vzrůstat počet přihrádek n společně s počtem předmětů rn tak, že v průměru nám na každou přihrádku bude připadat (přibližně) stejný počet prvků λ, můžeme dobře vyjádřit chování našeho rozdělení veličin Xn při limitním přechodu n → ∞: Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Jestliže nám bude vzrůstat počet přihrádek n společně s počtem předmětů rn tak, že v průměru nám na každou přihrádku bude připadat (přibližně) stejný počet prvků λ, můžeme dobře vyjádřit chování našeho rozdělení veličin Xn při limitním přechodu n → ∞: lim n→∞ P(Xn = k) = lim n→∞ rn k (n − 1)rn−k nrn = lim n→∞ rn(rn − 1) . . . (rn − k + 1) (n − 1)k 1 k! 1 − 1 n rn = λk k! lim n→∞ 1 + −rn n rn rn = λk k! e−λ protože obecně funkce (1 + x/n)n konvergují stejnoměrně k funkci ex na každém omezeném intervalu v R. To dává Poissonovo rozdělení Po(λ). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Poissonovo rozdělení Po(λ) popisuje např. události, které se vyskytují náhodně v čase a přitom pravděpodobnost výskytu v následujícím časovém intervalu o jednotkové délce nezávisí na předchozí historii a je rovna stále stejné hodnotě λ. V praxi jsou takové procesy spojeny např. s poruchovostí strojů a zařízení. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Poissonovo rozdělení Po(λ) popisuje např. události, které se vyskytují náhodně v čase a přitom pravděpodobnost výskytu v následujícím časovém intervalu o jednotkové délce nezávisí na předchozí historii a je rovna stále stejné hodnotě λ. V praxi jsou takové procesy spojeny např. s poruchovostí strojů a zařízení. Theorem (Poissonova věta) Jsou-li Xn ∼ Bi(n, pn) a limn→∞ n · pn = λ je konečná, pak lim n→∞ P(Xn = k) = P(X = k), kde X ∼ Po(λ). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Příklady spojitých rozdělení Nejjednodušší je tzv. rovnoměrné rozdělení. Jestliže chceme, aby pravděpodobnost každé hodnoty v předem daném intervalu (a, b) ⊂ R byla stejná, pak hustota fX našeho rozdělení náhodné veličiny X má být konstantní. Pak ovšem jsou pro libovolná reálná čísla −∞ < a < b < ∞ jen jediné možné hodnoty fX (t) =    0 t ≤ a 1 b−a t ∈ (a, b) 0 t ≥ b, FX (t) =    0 t ≤ a t−a b−a t ∈ (a, b) 1 t ≥ b. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Exponenciální rozdělení ex(λ) je dalším rozdělením, které je snadno určeno požadovanými vlastnostmi náhodné veličiny. Předpokládejme, že sledujeme výskyt náhodného jevu tak, že výskyty v nepřekrývajících se intervalech jsou nezávislé. Je-li tedy P(t) pravděpodobnost, že jev nenastane během intervalu délky t, pak nutně P(t + s) = P(t)P(s) pro všechna t, s > 0. Předpokládejme navíc diferencovatelnost funkce P a P(0) = 1. Pak ln P(t + s) = ln P(t) + ln P(s). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Exponenciální rozdělení ex(λ) je dalším rozdělením, které je snadno určeno požadovanými vlastnostmi náhodné veličiny. Předpokládejme, že sledujeme výskyt náhodného jevu tak, že výskyty v nepřekrývajících se intervalech jsou nezávislé. Je-li tedy P(t) pravděpodobnost, že jev nenastane během intervalu délky t, pak nutně P(t + s) = P(t)P(s) pro všechna t, s > 0. Předpokládejme navíc diferencovatelnost funkce P a P(0) = 1. Pak ln P(t + s) = ln P(t) + ln P(s). Limitním přechodem: lim s→0+ ln P(t + s) − ln P(t) s = (ln P) (0) = −λ. Odtud vyplývá diferenciální rovnice (ln P(t)) = −λ. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Odtud dostáváme ln P(t) = −λt + C a počáteční podmínka dává jediné řešení P(t) = e−λt . Všimněme si, že z definice našich objektů vyplývá, že λ > 0. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Odtud dostáváme ln P(t) = −λt + C a počáteční podmínka dává jediné řešení P(t) = e−λt . Všimněme si, že z definice našich objektů vyplývá, že λ > 0. Uvažme náhodnou veličinu X udávající okamžik, kdy náš jev poprvé nastane. Zřejmě tedy je distribuční funkce rozdělení pro X dána FX (t) = 1 − P(t) = 1 − e−λt t > 0 0 t ≤ 0. Je vidět, že je to rostoucí funkce s hodnotami mezi nulou a jedničkou a správnými limitami v ±∞. Hustotu tohoto rozdělení dostaneme derivováním distribuční funkce, tj. fX = λe−λt t > 0 0 t ≤ 0. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Normální rozdělení je ze všech nejdůležitější. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Normální rozdělení je ze všech nejdůležitější. Jestliže v binomiálním rozdělení zachováme konstatní úspěšnost p, ale budeme přidávat počet pokusů n, bude pravděpodobnostní funkce kupodivu pořád mít podobný tvar (i když jiné rozměry). Na obrázku při rostoucím n se budou vynesené bodové hodnoty slévat do křivky, pro hodnoty Bi(500, 0.5) a Bi(5000, 0.5) je výsledek vidět na obrázku níže. Třetí křivka na obrázku je grafem funkce f (x) = e−x2/2. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Hledáme-li podobné spojité rozdělení, potřebovali bychom spočíst b a e−x2/2 dx což není pomocí elementárních funkcí možné. Je však možné (i když ne úplně snadné) ověřit, že příslušný nevlastní integrál konverguje k hodnotě ∞ −∞ e−x2/2 dx = √ 2π. Odtud vyplývá, že možná hustota rozdělení náhodného rozdělení může být fX (x) = 1 √ 2π ex . Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Hledáme-li podobné spojité rozdělení, potřebovali bychom spočíst b a e−x2/2 dx což není pomocí elementárních funkcí možné. Je však možné (i když ne úplně snadné) ověřit, že příslušný nevlastní integrál konverguje k hodnotě ∞ −∞ e−x2/2 dx = √ 2π. Odtud vyplývá, že možná hustota rozdělení náhodného rozdělení může být fX (x) = 1 √ 2π ex . Rozdělení s touto hustotou se nazývá normální rozdělení N(0, 1). Příslušnou distribuční funkci FX (x) = x −∞ e−x2/2 dx nelze vyjádřit pomocí elementárních funkcí, přesto se s ní numericky běžně počítá (pomocí tabulek nebo softwarových aplikací). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Hledáme-li podobné spojité rozdělení, potřebovali bychom spočíst b a e−x2/2 dx což není pomocí elementárních funkcí možné. Je však možné (i když ne úplně snadné) ověřit, že příslušný nevlastní integrál konverguje k hodnotě ∞ −∞ e−x2/2 dx = √ 2π. Odtud vyplývá, že možná hustota rozdělení náhodného rozdělení může být fX (x) = 1 √ 2π ex . Rozdělení s touto hustotou se nazývá normální rozdělení N(0, 1). Příslušnou distribuční funkci FX (x) = x −∞ e−x2/2 dx nelze vyjádřit pomocí elementárních funkcí, přesto se s ní numericky běžně počítá (pomocí tabulek nebo softwarových aplikací). Hustotě fX se také často říká Gaussova křivka. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Plán přednášky 1 Literatura 2 Pravděpodobnostní funkce a hustoty 3 Náhodné vektory 4 Číslené charakteristiky veličin Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Obdobně definujeme distribuční funkce a hustotu a pravděpodobnostní funkci pro spojité a diskrétní náhodné vektory. Hovoříme také o simultánních (sdružených) pravděpodobnostních funkcích a hustotách. Pro dvě proměnné (vektor (X, Y ) náhodných veličin): f (x, y) = P(X = xi ∧ Y = yj ) x = xi ∧ y = yj 0 jinak. u diskrétních a pro všechny a, b ∈ R pro spojité: F(b, a) = P(−∞ < X < b, ∞ < Y < a) = a −∞ b −∞ f (x, y)dxdy. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Marginální rozložení pro jednu z proměnných obdržíme tak, že přes ostatní posčítáme nebo zintegrujeme. Např. u diskrétních vektorových veličin (X, Y ) tvoří jevy (X = xi , Y = yj ) pro všechny možné hodnoty xi a yj s nenulovými pravděpodobnostmi pro X a Y úplný systém jevů pro vektor (X, Y ) a dostáváme vztah: P(X = xi ) = ∞ j=1 P(X = xi , Y = yj ) mezi marginálním rozdělením pravděpodobnosti náhodné veličiny X a sdruženým rozdělením pravděpodobnosti náhodného vektoru (X, Y ). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Náhodné veličiny X a Y jsou stochasticky nezávislé, jestliže jejich sdružená distribuční funkce splňuje F(x, y) = G(x) · H(y), kde F a G jsou distribuční funkce veličin X a Y . Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Plán přednášky 1 Literatura 2 Pravděpodobnostní funkce a hustoty 3 Náhodné vektory 4 Číslené charakteristiky veličin Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Uvažme náhodnou veličinu Y s rozdělením pravděpodobnosti P(Y = k) = 1/n, k = 1, 2, . . . , n, tj. pro n = 6 popisujeme hod férovou kostkou. Průměr 1 2 (n + 1) bude patrně bude dobře vystihovat „očekávanou průměrnou hodnotu“. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Uvažme náhodnou veličinu Y s rozdělením pravděpodobnosti P(Y = k) = 1/n, k = 1, 2, . . . , n, tj. pro n = 6 popisujeme hod férovou kostkou. Průměr 1 2 (n + 1) bude patrně bude dobře vystihovat „očekávanou průměrnou hodnotu“. Při binomickém rozdělení Bi(n, p) můžeme stejně dobře použít „váženého průměru“, který vyjádří „průměrné očekávání“: n k=0 k n k pk (1 − p)n−k = np n k=1 (n − 1)! (n − k)!(k − 1)! pk−1 (1 − p)n−k = np n−1 j=0 (n − 1)! (n − j − 1)!j! pj (1 − p)n−j−1 = np, (protože součet pravděpodobností v každém binomickém rozdělení je jedna). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Střední hodnota Nechť X je náhodná veličina s diskrétním rozdělením. Jestliže řada ∞ k=1 xi P(X = xi ) konverguje absolutně (zejména tedy pro všechny X s konečně mnoha možnými hodnotami xi ), pak její součet E X nazýváme střední hodnotou X. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Střední hodnota Nechť X je náhodná veličina s diskrétním rozdělením. Jestliže řada ∞ k=1 xi P(X = xi ) konverguje absolutně (zejména tedy pro všechny X s konečně mnoha možnými hodnotami xi ), pak její součet E X nazýváme střední hodnotou X. Je-li X náhodná veličina se spojitým rozdělením s hustotou f (x) a nevlastní integrál ∞ −∞ xf (x)dx konverguje absolutně, pak jeho hodnota E X se nazývá střední hodnota X. Je tedy E X = np, je-li X ∼ Bi(n, p), zatímco pro rovnoměrné rozdělení na intervalu (a, b) dostaneme dle očekávání E X = b a 1 b − a dx = 1 2 b2 − a2 b − a = 1 2 (a + b). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Střední hodnota Nechť X je náhodná veličina s diskrétním rozdělením. Jestliže řada ∞ k=1 xi P(X = xi ) konverguje absolutně (zejména tedy pro všechny X s konečně mnoha možnými hodnotami xi ), pak její součet E X nazýváme střední hodnotou X. Je-li X náhodná veličina se spojitým rozdělením s hustotou f (x) a nevlastní integrál ∞ −∞ xf (x)dx konverguje absolutně, pak jeho hodnota E X se nazývá střední hodnota X. Je tedy E X = np, je-li X ∼ Bi(n, p), zatímco pro rovnoměrné rozdělení na intervalu (a, b) dostaneme dle očekávání E X = b a 1 b − a dx = 1 2 b2 − a2 b − a = 1 2 (a + b). Střední hodnotou náhodného vektoru (X1, . . . , Xn) rozumíme vektor středních hodnot (E X1, . . . , E Xn). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Vlastnosti střední hodnoty Theorem (Afinní chování střední hodnoty) Uvažme náhodné veličiny X, Y , skaláry a, b ∈ R, náhodný vektor W = (X1, . . . , Xn) a čtvercovou skalární matici B s n řádky. Pro konstantní náhodnou veličinu X = a ∈ R je E a = a. E(a + bX) = a + b E X. E(X + Y ) = E + Y. E(a + BX) = a + B(E X). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin kvantilová funkce Je-li F(x) distibuční funkce náhodné veličiny X, pak F−1 (u) = inf{x ∈ R; F(x) ≥ u}, 0 < u < 1 je kvantilová funkce náhodné veličiny X. Hodnota F−1(α) se nazývá α-kvantil. Tzv. kritické hodnoty pro veličinu X jsou pak F−1(1 − α). Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Rozptyl Další charakteristika popisuje, jak moc se dá čekat, že se hodnoty náhodné veličiny „hemží“ kolem nějaké hodnoty. Definition Nechť X je náhodná veličina s konečnou střední hodnotou. Pak definujeme rozptyl veličiny X výrazem var X = E(X − E X)2 , pokud taková konečná hodnota existuje. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Rozptyl Další charakteristika popisuje, jak moc se dá čekat, že se hodnoty náhodné veličiny „hemží“ kolem nějaké hodnoty. Definition Nechť X je náhodná veličina s konečnou střední hodnotou. Pak definujeme rozptyl veličiny X výrazem var X = E(X − E X)2 , pokud taková konečná hodnota existuje. Odmocnina z rozptylu √ var X se nazývá směrodatná odchylka náhodné veličiny X. Jde o zjevnou obdobu definice kvadrátu vzdálenosti vektorů nebo funkcí. Zachycujeme tak „očekávanou vzdálenost“ hodnot X od její střední hodnoty. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Theorem Jestliže má náhodná veličina X konečný rozptyl, pro libovolné skaláry a, b ∈ R platí var X = E X2 − (E X)2 var(a + bX) = b2 var X var(a + bX) = |b| √ var X. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Theorem Jestliže má náhodná veličina X konečný rozptyl, pro libovolné skaláry a, b ∈ R platí var X = E X2 − (E X)2 var(a + bX) = b2 var X var(a + bX) = |b| √ var X. Občas přiřazujeme k X normovanou veličinu Z, Z = X − E X √ var X , která má zjevně nulovou střední hodnotu a jednotkový rozptyl. Literatura Pravděpodobnostní funkce a hustoty Náhodné vektory Číslené charakteristiky veličin Theorem Má-li X rozptyl a > 0 je libovolné, pak platí P(|X − E X| ≥ ) ≤ var X 2 .