Přednáška 1: Úvod 6. 10. 2020 | PSYn4790 | Psychometrika: Měření v psychologii Katedra psychologie, Fakulta sociálních studií MU Hynek Cígler | cigler@fss.muni.cz Richard Feynman: „May be some day they will...“ A proto jeden dotazníček... Vyplňte dotazník... ... fssvm6.fss.muni.cz/vyska ... ... a sem zadejte výsledky . (Odkazy jsou rovněž v interaktivní osnově.) Záměr kurzu PSYn4790 Poskytnout psychometrické, metodologické i epistemologické zázemí k validnímu zkoumání člověka. 3 hlavní témata : ◦ Psychometrika: Vybrané modely měření (setkání 1–7). ◦ Bližší představení vybraných teorií měření a jejich propojení s praxí a výzkumem. ◦ Navazuje na PSYb2590 (Základy psychometriky). ◦ Metodologie (setkání 8–10). ◦ Smíšený design, replikační krize v psychologii, meta-analýza. ◦ Návaznost na témata měření ◦ Epistemologie (setkání 11–12) ◦ Filozofická východiska měření v sociálních vědách. K čemu vám kurz bude? Lepší orientace v modelech měřeních. Přehled pokročilejších psychometrických postupů pro případné pozdější využití. Propojení teorie měření a výzkumu. Nástrahy sociálních věd, výzkumná „scestí“. Aplikace psychometrických postupů do praktické diagnostiky. Stručný harmonogram # datum téma přednášející úkol 1 6. 10. Úvod, zadání seminární práce. Cígler orientace  2 13. 10. Model měření CTT. Cígler P1 3 20. 10. Teorie zobecnitelnosti. Cígler P2 4 27. 10. Teorie odpovědi na položku I. Cígler P3 5 3. 11. Teorie odpovědi na položku II. Cígler P4 6 10. 11. Férovost. Cígler P5 17. 11. Samostudium (téma bude upřesněno). P6 7 24. 11. Shoda posuzovatelů Cígler / Ťápal test 1 8 1. 12. Meta-analýza, replikovatelnost, replikační krize, Open-Science. Cígler / Gabrhel P7 9 8. 12. Smíšené designy Širůček P8 10 15. 12. Sociometrie Širůček P9 vánoceZasloužený odpočinek (téma bude upřesněno). 11 5. 1. Epistemologie I. Šerek test 2 12 12. 1. Epistemologie II. Šerek P10 Požadavky na ukončení kurzu 3 písemné testy: 3 × 20 bodů ◦ Na konci každého bloku, termíny v ISu. ◦ Minimum 8 b. (X). Opravné termíny ve zkouškovém. Seminární práce: 20 bodů. ◦ 10 a méně bodů → možnost přepracovat (-5 bodů). Ústní zkouška: 20 bodů. ◦ Minimum 1. Nebodované přípravy. ◦ Alespoň 8 z 10 (jinak X) A: 100–91 B: 90–81 C: 80–71 D: 70–61 E: 60–51 F: 50–0 Požadavky na ukončení kurzu Písemné testy ◦ Open-book, otevřené otázky. ◦ On-line odkudkoli. ◦ Lze využít libovolné materiály. ◦ Ty ale nestačí, je potřeba se orientovat. ◦ Jednodenní časové okno (úterý). ◦ Na konci každého bloku. ◦ (Vyjma 17. 11.) Příprava ◦ Slouží pro vás. ◦ Nebodováno, bez individuální zpětné vazby. ◦ Nepište ale pitomosti, budeme to procházet  ◦ Není potřeba se nic učit. ◦ Stačí přečíst literaturu. ◦ Jednodenní časové okno (úterý). ◦ Mimo testový den. Vaši předchůdci „vzkazují“: Jde to zvládnout!  Obtížné, pokud jste neabsolvovali bakalářskou psychometriku. Nezbytné studovat průběžně. Nestačí přednášky, bez literatury to nepůjde. ◦ Nespoléhejte, že na přednáškách zazní všechna témata. ◦ Bez přednášek chybí kontext. Věnujte pozornost zadání SP (struktura recenze). Studijní zdroje Interaktivní osnova a IS MU, předmětová diskuze. FB: Psychologické testování ◦ Odborná diskuze o psychodiagnostice a metodách FB: Statistika, metodologie, psychometrika ◦ Prostor pro řešení běžných problémů, dotazy ke studiu. FB: Kvantitativní kroužek ◦ Advanced skupina o statistice a metodologii v sociálních vědách. Časopis Testfórum. Povinná a rozšiřující literatura vždy ke každému tématu. Konzultace Najdete u každého vyučujícího v IS MU. Organizační záležitosti: Hynek Cígler. Hynek Cígler: kanc. 2.47, středa 14.00–15.30. ◦ Bez garance. ◦ Možnost on-line konzultace bez předchozího ohlášení (stejný čas). Preferujeme cokoli, jen ne e-mail!  Zadání seminární práce Recenze zvolené psychodiagnostické metody Cíle SP Projít si a ujasnit si, jaké všechny vlastnosti testů nás zajímají. Zkusit tyto vlastnosti objektivně popsat a zhodnotit. A to v kontextu nějakého konkrétního testu, který vás zajímá a jehož konkrétní použití si dovedete představit. Integrovat tyto soudy. A vypracovat text, který by si mohl vzít do ruky uživatel testu – prakticky orientovaný psycholog – jako podklad pro výběr vhodného testu pro nějaký účel. ◦ Možnost publikace v Testfóru. Postup tvorby SP Studium Burosových ročenek, EFPA manuálu. Výběr vhodné metody. ◦ Bude možné výběr konzultovat, termín bude stanoven. Prostudování manuálu, podnětového materiálu a dalších součástí. Doplnění pomocí relevantních empirických zdrojů (existují-li). Vypracování EFPA formuláře. Převedení formuláře do souvislého textu. Odevzdání formuláře i textu (do 8. 12.). ◦ text: „jméno příjmení_recenze.docx“ ◦ formulář: „jméno příjmení_formulář.docx“ Důležité zdroje a inspirace Urbánek, T. (2010). Stav české psychologické diagnostiky a evropský model recenze testu. Testfórum, 1(1), 2-5. doi: 10.5817/TF2010-1-1 ◦ Představení recenzního modelu českému publiku. Testfórum: https://testforum.cz/about/editorialPolicies#sectionPolicies ◦ Informace o recenzích v Testfóru, formulář recenzního modelu EFPA (verze CZ 3.42) https://testforum.cz/pages/view/recenze ◦ Dosud publikované recenze v Testfóru pro inspiraci. Evers a kol. (2013): článek o EFPA modelu, doi: 10.7334/psicothema2013.97 Burosovy ročenky, dostupné v knihovně (D2-732; D2-732a) ◦ Inspirace ohledně struktury a obsahu samotného textu. EFPA manuál POPIS (NEHODNOTÍCÍ) obecný popis klasifikace skórování generované zprávy dodavatel a náklady ZHODNOCENÍ METODY kvalita osvětlení teoretických východisek kvalita materiálů psychometrické parametry ◦ normy ◦ reliabilita ◦ validita ◦ (kvalita generovaných zpráv) závěrečné zhodnocení a hlavně doporučení literatura Vlastní text: Struktura Řiďte se (nezávazně) strukturou Burosových ročenek. Záhlaví (vybrané důležité informace, autoři, distributor aj.). Popis testu, jeho určení, cílové populace atp. (nehodnotící, vychází z informací autora). Vývoj metody a kvalita technických materiálů (popis s hodnotícím komentářem). Technické parametry (kritické zhodnocení na úrovni faktů, mělo by obsahovat i další studie v manuálu neobsažené). ◦ zejm. validita, reliabilita, normy, počítačové zprávy (existují-li) Komentář (zhodnocení faktů uvedených výše). Shrnutí a závěr s konkrétním doporučením. Literatura, zdroje Doporučení Otevřená pole formuláře mohou obsahovat identický (copy-past) text s vlastní recenzí. Formulář je jen doplněk, primárně je hodnocen text. Doporučujeme pracovat se stejnou metodou, jako v Psychodiagnostice. ◦ Zvážení psychometrických parametrů → výhoda v diagnostice. ◦ Zkušenost s administrací → výhoda v recenzi (nejen hodnocení testového materiálu). Nevybírejte metodu na první dobrou. ◦ Některé metody je snadnější recenzovat než jiné. ◦ Hodně špatná metoda → velmi náročné hodnocení. Nevybírejte příliš „velké“ metody. Poraďte se s obsluhou. Chcete-li vybrat metodu, která není v KDM, domluvte se osobně. Seminární práce: Tipy Věnujte pozornost struktuře recenze (opravdu mrkněte na Burosovy ročenky). Využívejte externí empirické zdroje. ◦ Manuály (zejm. českých) metod nejsou dostatečné a přiměřeně kritické. Využijte Messickovo pojetí validity („shoda skórů s interpretací“). Kombinujte originální (americké) a české zdroje. ◦ Lze přenést důkazy validity? Lze se domnívat, že něco funguje stejně? Věnujte pozornost normám. ◦ Odpovídají účelu metody? Reprezentuje vzorek cílovou populaci? Buďte kritičtí, zdrojujte tvrzení („Podle autorů metody...“). ◦ „Metoda je vhodná...“, to je už váš závěr. „Autoři tvrdí, že je vhodná...“ je v úvodu vhodnější. Alternativní zadání 1 Recenze testu vypracovaná ve dvojici v publikační kvalitě. ◦ Musí jít o recenzi metody využívané v české praxi. ◦ Je nutný individuální souhlas a konzultace s HC (cca do 14 dnů). Datum odevzdání: Co nejdříve, protože: ◦ 20 bodů: práce odevzdána v kvalitě manuskriptu recenze a text je (po případných revizích) přijat k publikaci v Testfóru do konce zkouškového období (28. 2. 2021). ◦ 10 bodů: splnění požadavků na individuální SP, nedosáhla publikační úrovně. ◦ 0 bodů: nepovedlo se to. Jeden pokus na vypracování individuální SP za běžných podmínek. Alternativní zadání 2 Překlad části EFPA manuálu verze 4.2.6. ◦ Možno ve dvojici, možno jen část. ◦ Cílem je přechod časopisu Testfórum na novější verzi recenzního modelu. Před zahájením kontaktujte (cca do 14 dní) HC pro osobní domluvu. Hodnocení podle stavu recenze po konzultacích a revizích: ◦ 20 bodů: úspěšný překlad i sazba, použitelný pro recenzní praxi. ◦ 15 bodů: úspěšný překlad, je ale nutný zásah editora. ◦ 10 bodů: překlad, který dává smysl, ale není publikovatelný. ◦ 0 bodů: nepovedlo se to. 1 pokus na individuální SP. Psychometrika cíle prvního bloku přednášek obor psychometriky teorie měření validita jako hodnocení testu Cíle psychometrického bloku přednášek Předpokládáme znalost: ◦ základních psychometrických pojmů; ◦ hodnocených vlastností testů; ◦ klíčových analýz. Cílem bloku je poskytnout lepší představu o parametrizaci měření v psychologii. ◦ „Co děláme, když měříme v psychologii?“ Podpořit propojení těchto znalostí s diagnostickou praxí. Poskytnout odrazový můstek pro ty, kdo chtějí pokračovat ve výzkumu a akademickém prostředí. Psychometrika Co to je psychometrika: ◦ Pomocná disciplína všech základních psychologických věd. ◦ Na pomezí psychologie (zejm. interindividuálních rozdílů), kognitivní psychologie (psychologie dotazování) a matematické statistiky. Cíle a oblasti použití psychometriky: ◦ Praktická činnost, tedy ověřování a konstrukce testů. ◦ Teorie: vývoj statistických postupů k lepšímu měření člověka. ◦ Nedílná součást praktické psychologické diagnostiky. „Psychometrics is the approximation of latent psychological processes by means of stochastic analysis at both the individual and population levels.“ Peter Molenaar (Pennsylvania State University) https://www.psychometricsociety.org/content/what-psychometrics Psychometrika studuje... ... vztah manifestních a latentních proměnných. ... podstatu a charakteristiku latentních psychických procesů. ... možnosti a chybovost usuzování na latentní proměnné z manifestních. ... a vysvětluje a predikuje chování lidí. Za tímto účelem pracuje s různými teoriemi, které postulují statistické modely. Manifestní proměnná: pozorované chování. Latentní proměnná/proces: Měřený atribut / jev. Latentní procesy a proměnné Způsob definice závisí na teorii měření. ◦ Pravý skór (operacionalismus, CTT). ◦ Latentní rys (realismus, IRT, FA, LCA). ◦ Symptomatologická síť (network modely). Tradiční psychodiagnostický pohled: Latentní proměnná je interpretace testových výsledků v širším kontextu. ◦ Konstrukcionismus, antirealismus. ◦ Messickovo pojetí validity. Více viz epistemologie v závěru kurzu. Definice konceptu validity Messick (1989, s. 20): „... an integrated evaluative judgment of the degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of inferences and actions based on test scores or other modes of assessment.“ ◦ Konstrukcionismus, operacionalismus. Borsboom (2004): „A test is valid for measuring an attribute if (a) the attribute exists and (b) variations in the attribute causally produce variation in the measurement outcomes.“ ◦ Validita je vlastnost testu, kterou hodnotíme. ◦ Realismus, ontologické pojetí. Unifikovaná konstruktová validita Důraz na hodnocení a použití testu v diagnostice. ◦ Validita je jediným, multifasetovým konstruktem. ◦ Validita je integrativním shrnutím dílčích důkazů. ◦ Integrována ve Standardech pro pedagogické a psychologické testování (AERA, 2014). Zdroje důkazů: ◦ Obsah testu ◦ Vnitřní struktura testu ◦ Odpověďové procesy ◦ Souvislost s kritériem ◦ Konsekvence testování Samuel Messick Messick (1995) AERA, APA, & NCME. (2014). Standards for Educational and Psychological Testing. American Educational Research Association. Validita jako hodnocení testu Lissitz, R. W., & Samuelsen, K. (2007). A Suggested Change in Terminology and Emphasis Regarding Validity and Education. Educational Researcher, 36(8), 437–448. doi:10.3102/0013189x07311286 Základní koncepty psychometriky Opakování z bakaláře: nezbytné statistické pojmy práce s rozptylem validita a související pojmy reliabilita, způsoby odhadu chyba měření a intervaly spolehlivosti Credit: https://www.facebook.com/vimzenicnezmerim/posts/158401765712038 Základní statistické pojmy Úrovně měření. ◦ Stevensonova definice, fundamentalita měření... ◦ Nominální, ordinální/pořadová, metrická (intervalová vs. poměrová). Míry centrální tendence, rozptyl, kovariance a korelace, rozložení proměnných. Statistické analýzy: korelace, parciální korelace ANOVA, lineární a logistická regrese, neparametrické statistiky. Explorační a konfirmační faktorová analýza, logika strukturních modelů. Práce s rozptylem, zejm. sčítání rozptylových komponent. Položky, konstrukce položek Tvorba položek ◦ teorie faset, dekompozice obsahového univerza ◦ rozdíl faseta vs. dimenze/faktor ◦ složení položky: podnět vs. odpověď (stimulus vs. response) ◦ druhy položek: doplňování, dichotomické, multiple-choice, řazení, volná odpověď (plus její skórování), mnohonásobná volba... ◦ odpověďové škály (Likertova, sémantický diferenciál, Guttmanovo škálování...) Podoba metody/testu: ◦ druhy škál: typologie/ipsativní, ordinální, intervalové... ◦ druhy metod: testy schopností, osobnostní dotazníky, silové vs. rychlostní vs. kapacitní, introspektivní vs. výkonové, objektivní, projektivní... Položková analýza, faktorová analýza POLOŽKOVÁ ANALÝZA V CTT Popularita, obtížnost Korigovaná korelace položky s celkovým skóre Cronbachova alfa po vyřazení položky ULI (upper-lower index) deskriptivy... FAKTOROVÁ ANALÝZA Explorační faktorová analýza ◦ Metody odhadu počtu faktorů – paralelní analýza, Kaiserovo pravidlo, Cattelův scree-plot ◦ Metody extrakce, eigenvalue ◦ Metody rotace (šikmé a ortogonální) ◦ Faktorový náboj, komunalita, unicita ◦ Heywoodův případ Konfirmační faktorová analýza ◦ Shody modelu s daty, χ2, SRMR, RMSEA, TLI... ◦ Definice a odhad modelu. Předpoklady faktorové analýzy. Reliabilita: Metody odhadu v CTT Paralelní formy: korelace, ICC. Test-retest: korelace, ICC. Shoda posuzovatelů: řada ukazatelů, samostatná přednáška. Vnitřní konzistence: ◦ Split-half: Spearman-Brownův vzorec, Guttmanova λ4... ◦ item-based: Cronbachovo alfa (= KR-20)... Reliabilita 𝑟 𝑥𝑥′ = 𝜎𝜏 2 𝜎𝑥 2 = 𝜎𝜏 2 𝜎𝜏 2 + 𝜎𝑒 2 = 1 − 𝜎𝑒 2 𝜎𝑥 2 Podíl vysvětleného rozptylu měřicího nástrojem měřeným atributem. ◦ A tedy odmocnina z korelace manifestní a latentní proměnné. Očekávaná korelace paralelních testů. Validita: Tradiční pojetí Unifikovaná konstruktová validita (Messick) Ontologické pojetí (Borsboom) Tradiční pojetí: obsahová, empirická, konstruktová Klíčové pojmy: ◦ Výběrová v., face-validity (zjevná, zdánlivá), faktorová. ◦ prediktivní vs. postdiktivní, inkrementální ◦ souběžná, konvergentní, divergentní/diferenciální, kriteriální ◦ Cronbach a Meehl (1955): Construct Validity in Psychological Tests, nomologická síť. ◦ Campbell a Fiske (1959): Multitrait-multimethod matrix (MTMM). Normy Způsob tvorby standardizačního vzorku a výběru respondentů, typy norem. ◦ Lokální, národní, institucionální... Kriteriální, ipsativní, normativní skóry a normy. ◦ klasická vs. kontinuální (vyhlazená) normalizace. Typy standardních skórů běžně používaných v psychologii a vzájemný převod. ◦ z-skóry, T-skóry, IQ-skóry, steny, staniny, percentily, percentilové pořadí... Problémy ze zešikmením, normalizace rozložení (McCallova plošná transformace, rozdělení podle mediánu...). Kontinuální normy (vertikální a horizontální normy). Práce s chybou měření Reliabilita je nepřítomnost chyby měření: 𝑟 𝑥𝑥′ = 𝜎 𝜏 2 𝜎 𝑥 2 = 𝜎 𝜏 2 𝜎 𝜏 2+𝜎 𝑒 2 = 1 − 𝜎 𝑒 2 𝜎 𝑥 2 Podíl chybového rozptyl: 𝜎 𝑒 2 𝜎 𝑥 2 = 1 − 𝑟 𝑥𝑥′ směrodatná odchylka chyby měření = standardní chyba měření 𝑆𝐸 = 𝜎𝑒 = 𝜎𝑥 1 − 𝑟 𝑥𝑥′ Konstrukce intervalu spolehlivosti: 𝐶𝐼 𝑝 = E 𝜏 ± 𝑧 𝑝 𝑆𝐸 𝑧 𝑝 je kvantil normálního rozložení: 𝑧95% = 1,96; 𝑧90% = 1,64; 𝑧80% = 1,28; 𝑧68% = 1. Regresní model CTT Interval spolehlivosti nikoli kolem pozorovaného, ale nejpravděpodobnějšího skóre. Regrese k průměru, odhad pravého skóre: E 𝑇 𝑥 = 𝑟𝑥𝑥´ 𝑥 + 1 − 𝑟𝑥𝑥´ 𝑀 𝑥 = 𝑀 + 𝑋 − 𝑀 𝑟𝑥𝑥´ E 𝑇 𝑥 : očekávané pravé skóre na základě pozorovaného 𝑀 𝑥 : průměrné skóre Pokročilá chyba měření Rozdíl dvou měření 𝑆𝐸𝐴−𝐵 = 𝑆𝐸𝐴 2 + 𝑆𝐸 𝐵 2 ◦ Za předpokladu nezávislých chyb. ◦ V případě jediného testu: 𝑆𝐸𝐴−𝐵 = 𝜎 𝑋 2 1 − 𝑟𝑥𝑥´ ◦ Očekávaný rozdíl E 𝐴 − 𝐵 = 0, konstrukce CI kolem nuly. Standardní chyba predikce: 𝑆𝐸 𝑝𝑟𝑒𝑑 = 𝜎 𝑋 1 − 𝑟𝑥𝑥′ 2 ◦ Typicky test-retest reliabilita. ◦ Očekávaný rozdíl 𝐸 𝑇2 = 𝐸 𝑇1 = 𝑟𝑥𝑥´ 𝑥1 + 1 − 𝑟𝑥𝑥´ 𝑀 𝑥. ◦ Konstrukce CI kolem odhadu pravého skóre. Zdroje k chybě měření Dudek, F. J. (1979). The continuing misinterpretation of the standard error of measurement. Psychological Bulletin, 86(2), 335–337. https://doi.org/10.1037/0033-2909.86.2.335 Harvill, L. M. (1991). An NCME Instructional Module on Standard Error of Measurement. Educational Measurement: Issues and Practice, 10(2), 33–41. https://doi.org/10.1111/j.1745-3992.1991.tb00195.x Cígler, H., & Šmíra, M. (2015). Chyba měření a odhad pravého skóru: Připomenutí některých postupů Klasické testové teorie. Testfórum, 4(6), 67–84. https://doi.org/10.5817/TF2015-6-104 On-line kalkulačka: https://hynekcigler.shinyapps.io/kalkulacka/ ◦ (Pozor, jen vývojová verze, není dokončeno.) Statisticky významný rozdíl Tradiční označení pro rozdíl dvou nezávislých testů jedné osoby; případně rozdíl dvou osob. Jaká je očekávaná odlišnost v měření dvěma testy? ◦ „Dosáhla vyššího skóru Anežka nebo Bedřich?“ „Je Cyril vyšší nebo těžší?“ ◦ Musí být ve stejných jednotkách. Velikost chyby: 𝜎 𝑒 𝐴−𝐵 = 𝜎𝑒 𝐴 2 + 𝜎𝑒 𝐵 2 = 𝜎 𝑎𝑏 2 − 𝑟𝑎𝑎′ − 𝑟𝑏𝑏′ ◦ Pokud jde o měření jediným testem (dvěma testy se stejnou reliabilitou), lze zjednodušit: 𝜎 𝑒 𝐴−𝐵 = 2𝑆𝐸 = 𝜎 𝑥 2 1 − 𝑟𝑥𝑥′ Středová hodnota: ◦ Jde o rozdíl a očekávaný rozdíl je zpravidla žádný rozdíl, proto zpravidla 0. ◦ To není úplně pravda; pokud 𝑟𝑎𝑎′ ≠ 𝑟𝑏𝑏′, pak je střední hodnotou 𝐸 𝜏 𝐴 ′ − 𝜏 𝐵 ′ = 𝑟 𝐴𝐴′ 𝐴 − 𝑀 − 𝑟 𝐵𝐵′ 𝐵 − 𝑀 , ale výsledek bude velmi podobný. Zanedbejte. Klinicky významný rozdíl Liší se dva skóry téhož respondenta více či méně než u „běžných“ respondentů? ◦ To, že se skóry liší, neznamená, že se liší více, než bychom čekali u náhodně vybraného člověka. ◦ Klinické hypotézy: „Rozkolísaný profil schopností...“, „Je rozdíl ‚klinicky‘ významný?“ atd. Příklad: ◦ Statisticky významný rozdíl: „Člověk má vyšší váhu než výšku (ve standardních jednotkách, např. IQ skórech)“. ◦ Klinicky významný rozdíl: „Člověk má vyšší váhu, než by odpovídalo jeho výšce, je tedy obézní.“ Klinicky významný rozdíl Více postupů. Nejjednodušší používá pouze korelaci a je zcela shodný s postupem pro chybu predikce. Odhad chyby: 𝜎𝐴−𝐵 = 𝜎𝐴𝐵 1 − 𝑟𝐴𝐵 2 ◦ 𝑟𝐴𝐵 je korelace testů A a B, 𝜎𝐴𝐵 je směrodatná odchylka obou testů (musí být shodná) Středová hodnota: E 𝐵 𝐴 = 𝑟𝐴𝐵 𝐴 + 1 − 𝑟𝐴𝐵 𝑀𝐴𝐵 Srovnání více měření Lze testovat, zda má klient celkově „rozkolísaný profil“. ◦ Např.: „Liší se subtesty ve WAIS-III od celkového IQ více, než bychom čekali?“ ◦ Analogie F-testu u lineární regrese s více prediktory. Poskytují jen některé diagnostické metody, není pravidlem. Technicky vzato není ideální interpretovat „profil“, pokud test celkového rozdílu není signifikantní na zvolené p-hladině. Ruční výpočet je poměrně náročný. Srovnání více měření „Analýza profilu“ ◦ Příklad: Krátký inteligenční test ◦ Laciga, J., & Cígler, H. (2017). Analýzy KIT. In P. Říčan & J. Laciga (Eds.), Krátký inteligenční test (pp. 19–42). Propsyco.