PSY117/454 Statistická analýza dat v psychologii Přednáška 13 Smysluplné užití statistiky VIII. Thou shalt not worship the 0.05 significance level. Michael Driscoll,, The American Mathematical Monthly, The Ten Commandments of Statistical Inference, Volume 84, Number 8, 1977 (p. 628) Abelson, R. (1995). Statistics as Principled Argument. LEA. Isbn 0-8058-0527-3 Dichotomizace výsledků výzkumu oVýsledek výzkumu je testováním zredukován na ano-ne o o o o o o o o o o oČím nižší je a, tím vyšší je b. Přesná podoba vztahu závisí na použitém testu. a i b mohou být nízké pouze při vysokých n. oSíla testu viz Hendl 401-411. o oAJ: type-I error, type-II error, (statistical) power H0 přijata H0 zamítnuta H0 pravdivá (žádný efekt) OK chyba 1. typu a (její pravděpodobnost) H0 nepravdivá (efekt) chyba 2. typu b OK Síla (1-b) a: efekt nalezen, kde žádný není b: existující efekt za takový neodhalen síla: pravděpodobnost odhalení existujícího efektu Síla testu o… pravděpodobnost, že výsledek našeho statistického testu bude znít „na hladině a je rozdíl(korelace) statisticky významný“, pokud určitý rozdíl skutečně existuje o… pravděpodobnost nezamítnutí H0, je-li H0 nepravdivá oP (p 0,8 K čemu jsou úvahy o síle testu? oK tomu abychom nedělali zbytečné výzkumy. nCohen 1960 – J of Abnormal & Social Pschlg – průměrná síla 0,48 nCohen 1992 – nic moc se za 30 let nezměnilo nExistuje-li rozdíl/vztah a my ho hledáme v tak malém vzorku, že síla je < 50%, pak to nemá smysl oAbychom nedělali manipulativní závěry nChceme-li potvrdit hypotézu o neexistenci rozdílu/vztahu, nelze to udělat prostým nevyvrácením nulové hypotézy. oK tomu, abychom si dokázali spočítat, jak velký vzorek potřebujeme pro svůj výzkum – náklady. n Jak spočítáme potřebnou velikost vzorku? o…těžko… pro každý statistický test se počítá jinak nTotéž platí i pro sílu testu oObecně: Jak velký vzorek potřebuji na to aby mi pro mě zajímavý účinek vyšel s 80% pravděpodobností statisticky významný na hladině a? oreceptář Oseckých oG*Power http://www.psycho.uni-duesseldorf.de/aap/projects/gpower/ oOnline např. nhttp://www.stat.uiowa.edu/~rlenth/Power/index.html nhttp://www.dssresearch.com/toolkit/spcalc/power.asp n n Základní postup zpracování dat oPečlivá tvorba datové matice oTvorba a transformace proměnných oSeznámení se s daty a explorace nBěžné popisné statistiky, zejm. četnosti nVšemožná zobrazení, grafy a kontingenční tabulky, zejm. neredukující nOutlieři, chyby, chybějící data, nečekané souvislosti – cokoli, co nám pomůže lépe pochopit získaná data (a důvěřovat jim) oUpřesnění a testování hypotéz nNezapomenout na ověření předpokladů testů nUmíme-li několika způsoby, je dobré je vyzkoušet, zvlášť když si nejsme jistí splněním předpokladů n n n n Základní principy komunikování výsledků oVe výsledcích uvádíme oZpůsob výpočtu/kódování proměnných oPopisné statistiky odpovídající úrovni měření a následujícím testům nČasto včetně intervalů spolehlivosti na M nebo r oOvěření předpokladů testů, je-li nutné (dle konvence) oTesty hypotéz nTestová statistika (t, z, F, r apod.) + df np= …, nebo p<(>) a nVelikost účinku (d, r2 , OR) n n o Morgan, Reichert, Harrison (2002). From Numbers to Words - Reporting Statistical Results for the Social Sciences. Allyn & Bacon Morgan, Reichert, Harrison (2002). From Numbers to Words - Reporting Statistical Results for the Social Sciences. Allyn & Bacon Statistická gramotnost oKorelace neimplikuje kauzalitu oJe rozdíl mezi statistickou a praktickou významností (zvlášť u velkých vzorků) oJe rozdíl mezi zjištěním nulového účinku/rozdílu a konstatováním, že rozdíly nejsou statisticky významné (zvlášť u malých vzorků) oData jsou „omylným“ zachycením jevů a vždy je třeba zohledňovat jejich vznik – otázky a postupy … metodologie oZdánlivě velmi nepravděpodobné jevy a koincidence se vyskytují často, protože mají nesmírně mnoho možností se vyskytnout oNezaměňovat podmíněné pravděpodobnosti P(A|B) a P(B|A). Nezaměňovat podmíněné pravděpodobnosti s nepodmíněnými. oVariabilita je přirozená a „normální“ není totéž co „průměrný“ oUtts (2003) o Automobile Association Foundation for Traftic Safety (Stutts et aj. 2) 1) was widely puhlicizcd hecause it found that only I .5% of drivers in accidents reported Ihatthey were using acell phone, whereas, for eXamp]e, 10.9% reported that they were distracted by another occupant in the cat. Many media reports concluded thai this mcant that taÍking on a cell phone was much Jcss likely to cause an accident than other disractions, like talking with sorneone In the car ot attending to the radio. But notice that this is confusiiig two conditional prohahilities. ‘I‘he rcported proportion ot accidents of .015 (I .5%) for which the driver was using a cell phone is an estirnate of the probab ility that a driver was using a cell phone, given that he or she had an accident. The probability of interest is the inverse—the probability that a driver will have an accident, given that he or she is using a cell phone. That probability cannot be fnund from the reported data because it depends on the prevalence of cell phone use. Bui. it Is alrnostcertainly truc that many more drivers are talking with other occupants ol the car than alking on a cell phone aI any given time. Bezpečné řízení oAutomobile Association Foundation for Traffic Safety zjistila, že pouze 1,5% řidičů telefonovala, když měli havárii, zatímco 10,9% řidičů bylo v okamžiku havárie vyrušováno další osobou v autě nebo rádiem. oŘada médií z toho činila závěr, že telefonování při řízení ohrožuje řidiče méně než další pasažéři nebo poslech rádia. oP(Telefonování|Havárie) ≠ P(Havárie|Telefonování) But notice that this is confusiiig two conditional prohahilities. ‘I‘he rcported proportion ot accidents of .015 (I .5%) for which the driver was using a cell phone is an estirnate of the probab ility that a driver was using a cell phone, given that he or she had an accident. The probability of interest is the inverse—the probability that a driver will have an accident, given that he or she is using a cell phone. That probability cannot be fnund from the reported data because it depends on the prevalence of cell phone use. Bui. it Is alrnostcertainly truc that many more drivers are talking with other occupants ol the car than alking on a cell phone aI any given time. M.A.G.I.C. oV čem se obecně liší dobrý statistický argument od špatného? o oMAGNITUDE – velikost účinku oARTICULATION – konkrétnost, jistota: t-test vs. ANOVA, c2 oGENERALITY – aplikovatelnost na co nejširší třídu jevů oINTERESTINGNESS – pro odborníka překvapivý výsledek? oCREDIBILITY – věrohodnost: čím je výsledek překvapivější, tím lépe musí být doložen o oTo jsou aspekty, které se ve výzkumné zprávě snažíme zdůraznit (a při provádějí výzkumu v rámci možností zajistit) o oAbelson, R. P. (1995). Statistics As Principled Argument. Lawrence Erlbaum. o Výzkumně-kriticky orientovaná Áčka oPSY117 – statistika a PSY252 – statistika II (pouze na jednooborová) oPSYXXX – psychometrika (pouze na jednooborové psychologii) oPSY112 – metodologie – úvod, klasika a PSY118 – metodologie – kvalitativa o oKritické myšlení při příjmu poznatků oKonzumace výzkumu oRealizace vlastních výzkumů oPsychodiagnostika o oChybí: filozofie, logika ….. sociologie vědy pořadí 2 knihy na závěr oMlodinow, L. (2009). Život je jen náhoda. Jak náhoda ovlivňuje naše životy. Praha: Slovart. o oPorter, T. M. (1995). Trust in numbers. The pursuit of objectivity in science and public life. Princeton: Princeton University Press.