MVOll Statistika I 9. Testování statistických hypotéz Jan Koláček (kolacek@math.muni.cz) Ústav matematiky a statistiky, Přírodovědecká fakulta, Masarykova univerzita, Brno Jan Koláček (PřF MU) MVOll Statistika I Motivační příklad Příklad 1 Házíme opakovaně mincí. Ze 100 náhodných pokusů: 56 x „hlava" a 44 x „orel". Otázka ; Je důvod se domnívat, že hlava nepadá stejně často jako orel? Realizace x = {x\,... ,Xioo) = (1/1/0,1/0,...,0,1) náhodného výběru z alternativního rozdělení A(9), 9 £ (0,1) je pravděpodobnost „úspěchu" (hlava). Cíl: Na základě x sestrojit test, který odpoví na otázku. Řešení. Testujeme nulovou hypotézu Hq : 9 = 0,5 proti alternativní hypotéze Hi : 9 ^ 0,5. Např. sestrojíme 95% interval spolehlivosti pro 9 (viz minulá přednáška) D,H) = X ± 1/0,975\l X(1^ X) = 0,56 ± 1,96 ^°'5^n °M- = (0,463; 0,657 n 10 Závěr: 0,5 G (0,463;0,657) ^> Hq nezamítáme (není důvod se domnívat . ..) Jan Koláček (PřF MU) MV011 Statistika I 2/46 Testování statistických hypotéz Mějme náhodný výběr X = (Xi,... ,Xn)f rozsahu n z rozdělení o distribuční funkci F{x;&), kde 6 = (Q\,...,Qm)r G 0 C Rm. Množina 0 nechť je neprázdná a otevřená. Předpokládejme, že o parametru 6 existují dvě konkurující si hypotézy: H0: 6 G 0O C 0 Hi: 6 G 0i = 0 - 0O se nazývá nulovou hypotézou (null hypothesis). alternativní hypotézou (alternative hypothesis). Tvrzení Ho Hi O platnosti této hypotézy se má rozhodnout na základě náhodného výběru X = (Xi,... ,Xn)/, a to tak, že hypotézy Hn. zamítneme (reject) nebo nezamítneme(accept) platnost Jan Koláček (PřF MU) MV011 Statistika I 3/ Testování statistických hypotéz Na testování použijeme statistiku Tn = T(X), kterou nazýváme testovací statistikou. Množinu hodnot, které může testovací statistika nabýt, rozdělíme na dvě disjunktní oblasti. Jednu označíme Wa , a nazveme ji kritickou oblastí (nebo také oblastí zamítnutí hypotézy (region of rejection, critical region)) a druhá je doplňkovou oblastí (oblast nezamítnutí testované hypotézy). Na základě realizace náhodného výběru x = (x\,... ,xn)r vypočítáme hodnotu testovací statistiky tn = T(x). • Pokud hodnota testovací statistiky tn nabude hodnoty z kritické oblasti, tj tn = T(x) £ Woc , pak nulovou hypotézu zamítáme. 9 Pokud hodnota testovací statistiky nabude hodnoty z oblasti nezamítnutí, tj tn = T(x) £ Wcí , tak nulovou hypotézu nezamítáme. Ad Příklad l\Tn= £~a5_ x/n _ 0,06 Woc = (-oo, -1/0,975) U (u0/975,co) 1,2087 ÍWoc^Hq nezamítáme. 10 = 1,2087 V0,56-0,44 (-00;-1,96) U (1,96;00) Jan Koláček (PřF MU) MV011 Statistika I 4/46 Testování statistických hypotéz Ho PLATÍ NEPLATÍ ZAMÍTÁME tn = T(x) e Wa chyba 1. druhu (type 1 error) (#o je hladina testu) 7(^0) : V tomto případě využijeme dolní odhad Dn(X) parametrické funkce j(0) o spolehlivosti 1 — oc. Pokud platí nulová hypotéza, pak l-a = P0 (D„(X) < 7(0O)). takže kritický obor tohoto testu má tvar: Wa = {XGlRM:DřI(X)>7(0o)}. Jan Koláček (PřF MU) MV011 Statistika I 9/46 Vztah mezi testy a intervalovými odhady C Hypotéza Hq : j(6) = 7(60) proti (tzv. jednostranné) alternativě Hl : 7(0) < 7(^o) V tomto případě využijeme horní odhad Hn(X) parametrické funkce j(0) o spolehlivosti 1 — oc. Pokud platí nulová hypotéza pak l-a = P0 (7(0o) 136,1 . Rozptyl cr2 = 6,42 cm2, zjištěný v roce 1951 (kdy se provádělo rozsáhlé šetření), můžeme považovat za známý, nebot variabilita výšek zůstává (na rozdíl od střední výšky) téměř nezměněná. Jan Koláček (PřF MU) MV011 Statistika I 15 / 46 Řešení Řešení (I) Testování nulové hypotézy pomocí pivotové statistiky Uy- a kritické hodnoty. Protože kritický obor Wq lze ekvivalentně vyjádřit i takto w0 = {x G Kn : x - >fo} = {xGRw:íí, = ™ > «1-«} , počítejme = 139/13634 136/1 V"l5 = 1,835. Protože u-x = 1,835 překračuje kritickou hodnotu t/i-^ = t/o,95 = 1/645, nulovou hypotézu na 5% hladině zamítneme ve prospěch alternativní hypotézy, že se střední výška desetiletých hochů zvětšila. Jan Koláček (PřF MU) MV011 Statistika I 16/ Řešení (II) Testování nulové hypotézy 132 133 134 135 136 137 138 139 140 141 X =139.1333 p r um p-val=0.033206 )MOCÍ p-HODNOTY Dosažená hladina odpovídající testové statistice (tj. tzv. p-hodnota, P-value, significance value), což je nejmenší hladina testu, při které bychom ještě hypotézu Hq zamítli, je rovna 0,033, takže například při oc = 2,5% by již dosažený výsledek nebyl statisticky významný. Protože p-hodnota je menší než zvolená hladina významnosti oc = 0.05, hypotézu zamítáme. Jan Koláček (PřF MU) MV011 Statistika I Řešení (III) Testování nulové hypotézy pomocí intervalu spolehlivosti (D,+oo) Protože jde o jednostranný test, použijeme dolní odhad střední hodnoty /i d = x-^ru1_0i = 139,133 - 4= 1/645 = 136,415 Vn V15 Protože interval spolehlivosti (136,415,+oo) nepokrývá hodnotu 136,1, proto nulovou hypotézu na hladině významnosti oc = 0,05 zamítáme. Jan Koláček (PřF MU) MV011 Statistika I 18/ Příklad Příklad 4 (Spotřeba auta) Spotřeba téhož auta byla testována u 11 řidičů s výsledky 8,8; 8,9; 9,0; 8,7; 9,3; 9,0; 8,7; 8,8; 9,4; 8,6; 8,9 (1/100km). a) Můžeme na hladině významnosti 0,05 zamítnout hypotézu, že je pravdivá výrobcem udávaná spotřeba 8,8 1/100km? b) Můžeme na stejné hladině významnosti popřít tvrzení, že rozptyl spotřeby je 0,1? ■v Řešení. a) Jedná se o realizaci náhodného výběru z N(jíq}Oq). Testujeme hypotézu Hq : jíq = 8,8 proti alternativě H\ : jíq ^ 8,8 . Jan Koláček (PřF MU) MV011 Statistika I 19 / 46 Řešení (i) Testování nulové hypotézy pomocí pivotové statistiky T a kritické hodnoty. Protože kritický obor Wq lze ekvivalentně vyjádřit i takto W0 = |xeRn : p0 <^-^ř1_«(n-l) V^o >*+^i-f(n-l) = ^ři_*(n — 1)} x — flQ n > ti_*(n — 1) počítejme t = 8/9qJ488/8 V^T = 1,5788. Protože t = 1,5788 nepřekračuje kritickou hodnotu ti_*(n — 1) = £0,975(10) = 2,228, nulovou hypotézu na 5% hladině nezamítneme. Jan Koláček (PřF MU) MV011 Statistika I Řešení (II) Testování nulové hypotézy pomocí p-hodnoty Dosažená hladina odpovídající testové statistice (tj. tzv. p-hodnota, P-value, significance value), což je nejmenší hladina testu, při které bychom ještě hypotézu Hq zamítli, je rovna 0,1455. Protože p-hodnota je větší než zvolená hladina významnosti oc = 0,05, hypotézu nezamítáme. Jan Koláček (PřF MU) MV011 Statistika I Řešení (III) Testování nulové hypotézy pomocí intervalu spolehlivosti (D,H) Protože jde o oboustranný test, použijeme interval spolehlivosti pro střední hodnotu ]i při neznámém a (d,h) = ž±^í1_«(n-l) = 8,918-^2,228 = (8,751;9,085) Protože interval spolehlivosti (8,751;9,085) pokrývá hodnotu 8,8, proto nulovou hypotézu na hladině významnosti oc = 0,05 nezamítáme. Jan Koláček (PřF MU) MV011 Statistika I Řešení b) Testujeme hypotézu Hq : í7q = 0,1 proti alternativě H\ : í7q 7^ 0,1 . (I) Testování nulové hypotézy pomocí pivotové statistiky K a kritické hodnoty. Protože kritický obor Wq lze ekvivalentně vyjádřit i takto W0 - 1} = jxGR*:fc=^^ >Xi_f(n-l)Vfc<^|(n-l)} počítejme = 1q'q^48 = 6,164. Protože = 6,164 nepřekračuje kritické hodnoty /to025(10) = 3,247 ani #0975(10) = 20,483, nulovou hypotézu na 5% hladině nezamítneme. Jan Koláček (PřF MU) MV011 Statistika I 23 / 46 Řešení (II) Testování nulové hypotézy pomocí p-hodnoty Dosažená hladina odpovídající testové statistice (tj. tzv. p-hodnota, P-value, significance value), což je nejmenší hladina testu, při které bychom ještě hypotézu Hq zamítli, je rovna 0,397. Protože p-hodnota je větší než zvolená hladina významnosti oc = 0,05, hypotézu nezamítáme. Jan Koláček (PřF MU) MV011 Statistika I Řešení (III) Testování nulové hypotézy pomocí intervalu spolehlivosti (D,H) Protože jde o oboustranný test, použijeme interval spolehlivosti pro cr2 <^*>=(í^;íf(^)= Protože interval spolehlivosti (0.03009;0,1898) pokrývá hodnotu 0,1, proto nulovou hypotézu na hladině významnosti oc = 0,05 nezamítáme. Jan Koláček (PřF MU) MV011 Statistika I 25/ Testy o parametrech normálního rozdělení Ho Hi Hypotézu Hq zamítáme, pokud X £ Wa, tj. Předpoklady ]í = jí0 H ŕ Ho X — fiQ ^Jň > au1_oc a2 známé ]í = jí0 ]l > ]lQ (X-po)y/ň > CTUX-ol a2 známé ]í = jí0 (X-po)y/ň < -ctux-ol a2 známé ]í = jí0 H ŕ Ho X — fiQ ^Jň > St1_ot(n — 1) a2 neznámé jí = jío ]l> fl0 (X -}iQ)^ň> Stx-ocin - 1) a2 neznámé ]í = jí0 (X -}iu)^ň< -Stx-ocin - 1) a2 neznámé 2 2 o* ŕ o* {n-fZč(xl(n l),xL(n 1)) ]i neznámé 2 2 ]i neznámé 2 2 ct2<(tI (n-fZtl_.(n1+n2-2)s12y/^ c2 = cr| neznámé ^ t {fa (ni-l,n2-l),-Fi_a (ni-l,n2-l)) ]i\,]i2 neznámé Jan Koláček (PřF MU) MV011 Statistika I 27 / 46 Příklad Příklad 5 (Dva nezávislé náhodné výběry z normálního rozdělení při neznámých ale stejných rozptylech) Bylo vybráno 13 polí stejné kvality Na 8 z nich se zkoušel nový způsob hnojení, zbývajících 5 bylo ošetřeno běžným způsobem. Výnosy pšenice uvedené v tunách na hektar jsou označeny Xj u nového a Y j u běžného způsobu hnojení. Je třeba zjistit, zda způsob hnojení má vliv na výnos pšenice. Xj 5,7 5,5 4,3 5,9 5,2 5,6 5,8 5,1 y. 5fQ 4,5 4,2 5,4 4,4 4.2 4.4 4.6 4. Jan Koláček (PřF MU) MV011 Statistika I 28 / 46 Řešení Řešení Budeme nejprve testovat hypotézu Hq : -\ = 1 proti alternativě fíl : -\ 7^ 1 . Za pivotovou statistiku zvolíme statistiku 2 F=iH ~ F(m-1^2-1). ^2 ^ (a) Můžeme například vypočítat statistiku F za platnosti nulové hypotézy a porovnat ji s příslušnými oboustrannými kvantily. /= jg = 1,1243 F«(ni-l,n2-l) = 0,1811 Fi_|(n1-l,n2-l) = 9,0741 Hq nezamítáme. Jan Koláček (PřF MU) MV011 Statistika I 29 Řešení (b) Další možností je spočítat p-hodnotu a srovnat se zvolenou hladinou testu oc p-value = 0,9656 > 0,05 Protože p-hodnota je výrazně větší než zvolená hladina testu, hypotézu o rovnosti rozptylů proti alternativě nerovnosti nezamítáme. 2 3 F=l.1243 p-val=0.96557 Jan Koláček (PřF MU) MV011 Statistika I 30 Řešení (c) A naposledy můžeme ještě zkonstruovat 100(1 — oc)% interval spolehlivosti o2 pro podíl rozptylů -\ ls{_1_S\ 1 ^i-f (ni —l/n2 —1)r S\ F*(n\ — l,n2 — 1) a zjistit, zda pokrývá hodnotu 1. Protože dostáváme interval (0,1239;6,2088), který pokrývá jedničku, hypotézu nezamítáme. Jan Koláček (PřF MU) MV011 Statistika I 31 Řešení (I) Testování pomocí statistiky T a kritické hodnoty Vypočítáme-li hodnotu statistiky 0.35 h 0.25 h 0.15 0.05 h 2 3 T=2.3697 p-val=0.037169 X-Y- -fí2) S 12 n\U2 U\ + ÍÍ2 a porovnáme s kvantilem Studentova rozdělení, h-9 = 2,3697 > ři_a/2(H) = 2,201, takže hypotézu Ho : - }i2 = 0 zamítáme. Jan Koláček (PřF MU) MV011 Statistika I 32 Řešení (II) Testování pomocí ^-hodnoty Vypočítáme-li p-hodnotu a porovnáme se zvolenou hladinou významnosti oc = 0,05 p = 2P(\Tx_y\ >t) =2(1-P(|TX_?| <ř)) = 0,037169 < oc takže hypotézu zamítáme. H0 : ]i\ - }ii = 0 Jan Koláček (PřF MU) MV011 Statistika I Řešení (III) Testování nulové hypotézy pomocí intervalu spolehlivosti ž-ý±íi_«(v) s12^g^= (0,6875 ±2,201-0,5089/1,7541 = (0,048958; 1,326 Protože interval spolehlivosti nepokrývá nulu, na dané hladině významnosti hypotézu zamítáme ve prospěch alternativy. Jan Koláček (PřF MU) MV011 Statistika I 34/ Na sedmi rostlinách byl posuzován vliv fungicidního přípravku podle počtu skvrn na listech před a týden po použití přípravku. Otestujte, zdali má přípravek vliv na počet skvrn na listech. Data udávající počet skvrn na listech před a po použití přípravku: před použitím přípravku X\ 9 17 31 7 8 20 10 po použití přípravku X2 10 11 18 6 7 17 5 Jan Koláček (PřF MU) MV011 Statistika I 35 / 46 Řešení (I) Testování pomocí statistiky T a kritické hodnoty Položme Z = X| — X2. Vypočítáme-li hodnotu statistiky T=2.2736 p-val=0.063354 nezamítáme. Jan Koláček (PřF MU) MV011 Statistika I 36 / 46 Řešení (II) Testování pomocí p-hodnoty Vypočítáme-li p-hodnotu a porovnáme se zvolenou hladinou významnosti oc = 0,05 p = 2P(\T\ >ř) = 2(1 — P(|T| <ř)) = 0,06335 > oc takže hypotézu nezamítáme. Hq : ]í\ - }i2 = 0 Jan Koláček (PřF MU) MV011 Statistika I 37 / 46 Řešení (III) Testování nulové hypotézy pomocí intervalu spolehlivosti ž±ř!_a/2(n-l) -s/vň = 4 ± 2,4469 • 4,6547/2,6458 = [-0,30492; 8,3049] Protože interval spolehlivosti pokrývá hodnotu Z = 0, na dané hladině významnosti hypotézu nezamítáme. Shrneme-li předchozí výsledky slovně, pak nulovou hypotézu o tom, že přípravek nemá vliv na počet skvrn na hladině významnosti oc = 0,05 nemůžeme zamítnout oproti alternativě o jeho vlivu. Jan Koláček (PřF MU) MV011 Statistika I 38 / 46 Asymptotické testy Nechť -U-{Xi,... , Xn} ^ C(jt,or ) s konečnými druhými momenty (s výběrovým průměrem X = ^ ^ Xz- a se = S2(X), což je (slabě) konzistentní odhad i=i rozptylu cr2): H0 Hi Hq zamítáme, pokud X G Wa Předpoklady fi = ji0 p ŕ Po S* 0 < a2 < oo fi = ji0 p ŕ Po X-flQ v — i 2 x{Xi,...,Xn} ~Po(p) P = Po P ŕ PO Po(l-) — \/ň > w-1 ^ JL^,...^}-^) Jan Koláček (PřF MU) MV011 Statistika I 39 / 46 Příklad Příklad 7 (Volby) Starosta obdržel při posledních volbách 60% hlasů. Bude stejně úspěšný i při příštích, když ze 100 náhodně vybraných občanů je pro něj 48? Řešení Označme X\, i = 1,.. .,100 náhodnou veličinu nabývající hodnoty 1, pokud z-tý volič dá hlas starostovi a hodnoty 0, pokud nedá. Zřejmě Xj ~ A{p) Testujeme hypotézu Hq : p = 0,6 proti alternativní hypotéze H\ : p 7^ 0,6. Vypočteme průměr x = ^ = 0,48 a směrodatné odchylky so = VPo(l-po) = 0,4899, s = ^(1 - x) = 0,4996. Jan Koláček (PřF MU) MV011 Statistika I 40 / 46 Řešení (I) Testování nulové hypotézy pomocí pivotové statistiky a kritické hodnoty. Protože kritický obor Wq lze ekvivalentně vyjádřit i takto o x G Rn : Uř = x—p > t/1 a 1 2 počítejme = q/q^89^/6 a/100 = 2,4495. Protože = 2,4495 překračuje kritickou hodnotu a = Wq,975 = 1,96, nulovou hypotézu na 5% hladině - -I uv i_2 zamítáme. Jan Koláček (PřF MU) MV011 Statistika I 41 Řešení (II) Testování pomocí p-hodnoty Vypočítáme p-hodnotu a porovnáme se zvolenou hladinou významnosti oc = 0,05 p = 2P(\Ux\ >ux)=2(l-P(\U-x\