9. Analýza rozptylu jednoduchého třídění 9.1. Motivace: Zajímáme se o problém, zda lze určitým faktorem (tj. nominální náhodnou veličinou A) vysvětlit variabilitu pozorovaných hodnot náhodné veličiny X, která je intervalového či poměrového typu. Např. zkoumáme, zda metoda výuky určitého předmětu (faktor A) ovlivňuje počet bodů dosažených studenty v závěrečném testu (náhodná veličina X). Předpokládáme, že faktor A má r ≥ 3 úrovní a přitom i-té úrovni odpovídá n[i] pozorování , které tvoří náhodný výběr z rozložení N(μ[i], σ^2), i = 1, ..., r a jednotlivé náhodné výběry jsou stochasticky nezávislé, tedy X[ij] = μ[i] + ε[ij], kde ε[ij] jsou stochasticky nezávislé náhodné veličiny s rozložením N(0, σ^2), i = 1, …, r, j = 1, …, n[i]. Výsledky lze zapsat do tabulky faktor A výsledky úroveň 1 úroveň 2 … … úroveň r Ilustrace: Na hladině významnosti α testujeme nulovou hypotézu, která tvrdí, že všechny střední hodnoty jsou stejné, tj. H[0]: μ[1] = … = μ[r] proti alternativní hypotéze H[1], která tvrdí, že aspoň jedna dvojice středních hodnot se liší. Jedná se tedy o zobecnění dvouvýběrového t-testu a na první pohled se zdá, že stačí utvořit dvojic náhodných výběrů a na každou dvojici aplikovat dvouvýběrový t-test. Hypotézu o shodě všech středních hodnot bychom pak zamítli, pokud aspoň v jednom případě z porovnávání se prokáže odlišnost středních hodnot. Odtud je vidět, že k neoprávněnému zamítnutí nulové hypotézy (tj. k chybě 1. druhu) může dojít s pravděpodobností větší než α. Proto ve 30. letech 20. století vytvořil R. A. Fisher metodu ANOVA (analýza rozptylu, v popsané situaci konkrétně analýza rozptylu jednoduchého třídění), která uvedenou podmínku splňuje. Pokud na hladině významnosti α zamítneme nulovou hypotézu, zajímá nás, které dvojice středních hodnot se od sebe liší. K řešení tohoto problému slouží metody mnohonásobného porovnávání, např. Scheffého nebo Tukeyova metoda. 9.2. Označení: V analýze rozptylu jednoduchého třídění se používá tzv. tečková notace. … celkový rozsah všech r výběrů … součet hodnot v i-tém výběru … výběrový průměr v i-tém výběru … součet hodnot všech výběrů … celkový průměr všech r výběrů 9.3. Testování hypotézy o shodě středních hodnot Náhodné veličiny X[ij] se řídí modelem M0: X[ij] = μ + α[i] + ε[ij] pro i = 1, …, r, j = 1, …, n[i] , přičemž ε[ij] jsou stochasticky nezávislé náhodné veličiny s rozložením N(0, σ^2), μ je společná část střední hodnoty závisle proměnné veličiny, α[i] je efekt faktoru A na úrovni i. Parametry μ, α[i] neznáme. Požadujeme, aby platila tzv. reparametrizační rovnice: . (Pokud je třídění vyvážené, tj. pokud mají všechny výběry stejný rozsah: n[1] = n[2] = … = n[r], pak lze použít zjednodušenou podmínku .) Zavedeme součty čtverců … celkový součet čtverců (charakterizuje variabilitu jednotlivých pozorování kolem celkového průměru), počet stupňů volnosti f[T] = n – 1, … skupinový součet čtverců (charakterizuje variabilitu mezi jednotlivými náhodnými výběry), počet stupňů volnosti f[A] = r – 1. Sčítanec představuje bodový odhad efektu α[i]. … reziduální součet čtverců (charakterizuje variabilitu uvnitř jednotlivých výběrů), počet stupňů volnosti f[E] = n - r. Lze dokázat, že S[T] = S[A] + S[E]. (Důkaz je proveden např. ve skriptech Budíková, Mikoláš, Osecký: Popisná statistika v poznámce 5.20.) Kdyby nezáleželo na faktoru A, platila by hypotéza α[1] = … = α[r] = 0 a dostali bychom model M1: X[ij] = μ + ε[ij]. Během analýzy rozptylu tedy zkoumáme, zda výběrové průměry M[1], …, M[r] se od sebe liší pouze v mezích náhodného kolísání kolem celkového průměru M nebo zda se projevuje vliv faktoru A. Rozdíl mezi modely M0 a M1 ověřujeme pomocí testové statistiky , která se řídí rozložením F(r-1,n-r), je-li model M1 správný. Hypotézu o nevýznamnosti faktoru A tedy zamítneme na hladině významnosti α, když platí: F[A ]≥ F[1-α](r-1,n-r). Výsledky výpočtů zapisujeme do tabulky analýzy rozptylu jednoduchého třídění. Zdroj variability součet čtverců stupně volnosti podíl F[A] skupiny S[A] f[A] = r - 1 S[A]/f[A] reziduální S[E] f[E] = n - r S[E]/f[E] - celkový S[T] f[T] = n - 1 - - Sílu závislosti náhodné veličiny X na faktoru A můžeme měřit pomocí poměru determinace: . Nabývá hodnot z intervalu . 9.4. Testování hypotézy o shodě rozptylů Před provedením analýzy rozptylu je zapotřebí ověřit předpoklad o shodě rozptylů v daných r výběrech. a) Levenův test: Položme . Označíme Platí-li hypotéza o shodě rozptylů, pak statistika ≈ F(r-1, n-r). Hypotézu o shodě rozptylů tedy zamítáme na asymptotické hladině významnosti α, když F[ZA] ≥ F[1-α](r-1, n-r). (Levenův test je vlastně založen na analýze rozptylu absolutních hodnot centrovaných pozorování. Vzhledem k tomu, že náhodné veličiny X[ij] – M[i] nejsou stochasticky nezávislé a absolutní hodnoty těchto veličin nemají normální rozložení, je Levenův test pouze aproximativní.) Modifikací Levenova testu je Brownův – Forsytheův test. Modifikace spočívá v tom, že místo výběrového průměru i-tého výběru se při výpočtu veličiny Z[ij] používá medián i-tého výběru. b) Bartlettův test: Platí-li hypotéza o shodě rozptylů a rozsahy všech výběrů jsou větší než 6, pak statistika ≈ χ^2(r-1), kde a S[*]^2 je vážený průměr výběrových rozptylů. H[0] zamítáme na asymptotické hladině významnosti α, když B ≥ χ^2[1-α](r-1). (Bartlettův test je poměrně slabý a je citlivý na porušení normality. Nedá se použít pro malé rozsahy výběrů.) 9.5. Post – hoc metody mnohonásobného porovnávání Zamítneme-li na hladině významnosti α hypotézu o shodě středních hodnot, chceme zjistit, které dvojice středních hodnot se liší na dané hladině významnosti α, tj. na hladině významnosti α testujeme H[0]: μ[l] = μ[k] proti H[1]: μ[l] ≠ μ[k] pro všechna l, k = 1, .., r, l ≠ k. a) Mají-li všechny výběry týž rozsah p (říkáme, že třídění je vyvážené), použijeme Tukeyovu metodu. Testová statistika má tvar . Rovnost středních hodnot μ[k] a μ[l] zamítneme na hladině významnosti α, když , kde hodnoty q[1-α](r, n-r) jsou kvantily studentizovaného rozpětí a najdeme je ve statistických tabulkách. (Studentizované rozpětí je náhodná veličina .) Existuje modifikace Tukeyovy metody pro nestejné rozsahy výběrů, nazývá se Tukeyova HSD metoda. V tomto případě má testová statistika tvar . Rovnost středních hodnot μ[k] a μ[l] zamítneme na hladině významnosti α, když . b) Nemají-li všechny výběry stejný rozsah, použijeme Scheffého metodu: rovnost středních hodnot μ[k]a μ[l] zamítneme na hladině významnosti α, když . Výhodou Scheffého testu je, že k jeho provedení nepotřebujeme speciální statistické tabulky s hodnotami kvantilů studentizovaného rozpětí, ale stačí běžné statistické tabulky s kvantila Fisherova – Snedecorova rozložení. V případě vyváženého třídění, kdy lze aplikovat Tukeyovu i Scheffého metodu, použijeme tu, která je citlivější. Tukeyova metoda tedy bude výhodnější, když q[1-α]^2(r, n-r) < 2(r-1)F[1-][α](r-1, n-r). Metody mnohonásobného porovnávání mají obecně menší sílu než ANOVA. Může nastat situace, kdy při zamítnutí H[0] nenajdeme metodami mnohonásobného porovnávání významný rozdíl u žádné dvojice středních hodnot. K tomu dochází zvláště tehdy, když p-hodnota pro ANOVU je jen o málo nižší než zvolená hladina významnosti. Pak slabší test patřící do skupiny metod mnohonásobného porovnávání nemusí odhalit žádný rozdíl. 9.6. Plánované porovnávání - testování významnosti kontrastů Plánované porovnávání je navrženo před prováděním ANOVY. Provádí se pomocí kontrastů, tj. pomocí lineárních kombinací středních hodnot. Kontrast q = , kde a . Odhadem kontrastu je veličina . Testování H[0]: q = 0 proti H[1]: q ≠ 0 je založeno na statistice , která se v případě platnosti H[0] řídí rozložením F(1, n-r). Nulovou hypotézu zamítáme na hladině významnosti α, když platí F[q ]≥ F[1-α](1,n-r). 9.7. Porovnávání s kontrolou V tomto případě neporovnáváme jednotlivé skupiny mezi sebou, ale každou skupinu porovnáme s kontrolní skupinou. Na hladině významnosti α testujeme H[0]: μ[i] = μ[kontrola] proti H[1]: μ[i] ≠ μ[kontrola]. Provedeme tedy celkem r-1 porovnání. Používá se Dunettův test, jehož testové kritérium je . Nulovou hypotézu zamítáme na hladině významnosti α, když . 9.8. Příklad: U čtyř odrůd brambor (označených symboly A, B, C, D) se zjišťovala celková hmotnost brambor vyrostlých vždy z jednoho trsu. Výsledky (v kg): odrůda hmotnost A 0,9 0,8 0,6 0,9 B 1,3 1,0 1,3 C 1,3 1,5 1,6 1,1 1,5 D 1,1 1,2 1,0 Na hladině významnosti 0,05 testujte hypotézu, že střední hodnota hmotnosti trsu brambor nezávisí na odrůdě. Zamítnete-li nulovou hypotézu, zjistěte, které dvojice odrůd se liší na hladině významnosti 0,05. Řešení: Data považujeme za realizace čtyř nezávislých náhodných výběrů ze čtyř normálních rozložení se stejným rozptylem. Testujeme hypotézu, že všechny čtyři střední hodnoty jsou stejné. Vypočítáme výběrové průměry v jednotlivých výběrech: M[1.] = 0,8, M[2.] = 1,2, M[3.] = 1,4, M[4.] = 1,1, celkový průměr M[..] = 1,14, výběrové rozptyly: S[1]^2 = 0,02, S[2]^2 = 0,03, S[3]^2 = 0,04, S[4]^2 = 0,01, vážený průměr výběrových rozptylů: , reziduální součet čtverců: , skupinový součet čtverců: celkový součet čtverců: S[T] = S[A] + S[E] = 0,816 + 0,3 = 1,116, testová statistika = 9,97, Kritický obor W = . Protože testová statistika se realizuje v kritickém oboru, H[0] zamítáme na hladině významnosti 0,05. Vypočteme poměr determinace: Výsledky zapíšeme do tabulky ANOVA: Zdroj variability Součet čtverců Stupně volnosti podíl F[A] skupiny S[A] = 0,816 3 S[A]/3 = 0,272 = 9,97 reziduální S[E] = 0,3 11 S[E]/11 = 0,02727 - celkový S[T] = 1,116 14 - - Nyní pomocí Scheffého metody zjistíme, které dvojice odrůd se liší na hladině významnosti 0,05. Srovnávané odrůdy Rozdíly Pravá strana vzorce A, B 0,4 0,41 A, C 0,67 0,36 A, D 0,3 0,41 B, C 0,2 0,40 B, D 0,1 0,44 C, D 0,3 0,40 Na hladině významnosti 0,05 se liší odrůdy A a C. Řešení pomocí systému STATISTICA Otevřeme nový datový soubor o dvou proměnných X a odrůda a 15 případech. Do proměnné X zapíšeme zjištěné hmotnosti, do proměnné odrůda kódy pro dané odrůdy (1 pro A, 2 pro B, 3 pro C a 4 pro D). Vypočteme výběrové průměry a výběrové rozptyly: Statistiky – Základní statistiky a tabulky – Rozklad & jednofakt. ANOVA – OK – Proměnné – Závislé – X, Grupovací - odrůda – OK – Skupiny tabulek - zaškrtneme Rozptyly - Výpočet. Nyní ověříme předpoklad shody rozptylů. Na záložce Skupiny tabulek zaškrtneme Levenův test – Výpočet. Vidíme, že p-hodnota Levenova testu je 0,41, tedy větší než hladina významnosti 0,05. Hypotézu o shodě rozptylů nezamítáme na hladině významnosti 0,05. Přistoupíme k testu hypotézy o shodě středních hodnot. Na záložce Skupiny tabulek zaškrtneme Analýza rozptylu – Výpočet. Jelikož p-hodnota = 0,001805 je menší než hladina významnosti 0,05, hypotézu o shodě středních hodnot zamítáme na hladině významnosti 0,05. Výpočet doplníme krabicovými diagramy: Nyní aplikujeme Scheffého metodu mnohonásobného porovnávání, abychom zjistili, které dvojice odrůd se liší na hladině významnosti 0,05. Na záložce Post – hoc zvolíme Schefféův test. Tabulka obsahuje p-hodnoty pro vzájemné porovnání středních hodnot hmotnosti všech čtyř odrůd. Vidíme, že na hladině významnosti 0,05 se liší odrůdy A, C. 9.9. Význam předpokladů v analýze rozptylu a) Nezávislost jednotlivých náhodných výběrů – velmi důležitý předpoklad, musí být splněn, jinak dostaneme nesmyslné výsledky. b) Normalita – ANOVA není příliš citlivá na porušení normality, zvlášť pokud mají všechny výběry rozsah nad 20 (důsledek centrální limitní věty). Při výraznějším porušení normality se doporučuje Kruskalův – Wallisův test. c) Shoda rozptylů – mírné porušení nevadí, při větším se doporučuje Kruskalův – Wallisův test. Test shody rozptylů má smysl provádět až po ověření předpokladu normality.