Pro běžné otázky ke kurzu, komunikaci s vyučujícími a podobně využívejte předmětové diskuzní fórum. V něm budou též zveřejňovány veškeré hromadné pokyny ke kurzu, doporučujeme proto nastavit si zasílání e-mailových notifikací.

Charakteristika kurzu

Psychometrika je aplikovanou vědní disciplínou na pomezí psychologie a matematické statistiky. Zaměřuje se na vývoj teorií měření člověka, propojení pozorovaného lidského chování a teoretických psychologických konstruktů. Je úzce spjatá s vývojem nejrůznějších psychologických teorií; bez její pomoci by nemohla být realizovaná značná část psychologického výzkumu. Její poznatky však využívají i psychologové v praxi; bez základních psychometrických znalostí a dovedností není možné zodpovědně realizovat psychologickou diagnostiku, která tvoří součást většiny praktických psychologických profesí. 

Kurz vás proto seznámí se základy oboru, které vám poslouží pro další rozvoj vašich znalostí a dovedností jak v oblastech psychologické praxe (zejména diagnostické), tak i ve výzkumu či interpretaci výzkumných studií. Představíme vám základní psychometrické koncepty, naučíme vás, jak posoudit kvalitu psychodiagnostických nástrojů, jak takové nástroje vyvíjet a jak pracovat s chybou měření. 

Kurz je založen na šesti přednáškách, které vám poskytnou základní rámec pro propojení jednotlivých teoretických oblastí, doplněných o čtyři praktické semináře, na kterých se naučíte prakticky realizovat dílčí výpočty důležité pro diagnostickou praxi, stejně jako analýzy nezbytné pro výzkum a interpretaci jeho výsledků. Podstatná část kurzu je ovšem založena na samostudiu povinné a doporučené literatury. Informace předané na přednáškách nepokryjí celý obsah učiva, a proto bude ověřována i znalost obsahu z literatury, kterou během přímé výuky nestihneme probrat. 

Literatura, povinné a doporučené zdroje

Povinná literatura bude uvedena vždy u každé přednášky; její znalost je předpokladem úspěšného ukončení kurzu. Uvádíme rovněž i rozšiřující literaturu, která může zájemcům poskytnout podrobnější pochopení jednotlivých témat, a pomoci jim při realizaci pokročilejších projektů v rámci kurzu.

V seznamu literatury u každého tématu používáme následující zkratky:

1. FURR: Furr, R. M. (2018). Psychometrics : An Introduction. Los Angeles: Sage.
   Hlavní studijní zdroj pokrývající většinu obsahu celého kurzu. Pozor: na FSS je dostupné i starší vydání z roku 2014, kde je spoluautorem i Bacharach. Obsah a stránkování se může drobně lišit, orientujte se podle názvů kapitol a logických celků!
2. SCHULTZ: Schultz, K. S., Whitney, D. J., & Zickar, M. J. (2014). Measurement Theory in Action: Case Studies and Excercises (2 ed.). New York: Routledge.
   Rozšiřující zdroj pro oblast faktorové analýzy.
3. HOG:  Hogan, T. P. (2014). Psychological testing: a practical introduction (3rd ed). Hoboken: John Wiley.
   Rozšiřující zdroj pro oblast norem.
4. URB: Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál.
   Zdroj v češtině. Doporučujeme jej jako doplňkovou literaturu; primární zdroje jsou ty uvedené výše.

Prerekvizity a předpokládané znalosti

Tento kurz nemá prerekvizity. Důrazně však doporučujeme jeho zápis ve stejném semestru jako PSYb2550: Psychologie individuálních rozdílů. Oba kurzy jsou nedílně propojeny a jejich současné absolvování vám poskytne řadu výhod.

Kromě toho předpokládáme základní znalosti psychologické metodologie (PSYb1120, Metodologie psychologického výzkumu) a znalosti z obou předchozích statistických předmětů (PSYb1170: Statistická analýza dat; PSYb2520, Statistická analýza dat II). Kurz si mohou zapsat i studenti dvouoborové psychologie bez znalosti navazující statistiky; je však nutné počítat s tím, že některé koncepty mohou být náročnější na povolení. Studenti jiných oborů si mohou kurz zapsat na základě výjimky, kterou v naprosté většině případů udělujeme.

Naopak kurz Základy psychometriky není prerekvizitou pro žádné jiné předměty v bakalářském studiu; vychází z nich však kurz navazujícího magisterského studia PSYn4790 Psychometrika: Měření v psychologii. Zápis tohoto kurzu PSYb2590 proto doporučujeme i magisterským studentům, kteří bakalářskou psychometriku na FSS MU dosud neabsolvovali; podle dřívějších zkušeností může být zvládnutí PSYn4790 bez předchozích zkušeností velmi náročné.

Vyučující

Přednášející a garant kurzu: Hynek Cígler (hynek.cigler@mail.muni.cz) 

Cvičící seminárních skupin:

1. Seminární skupina 01 (liché týdny, 12:00): Hynek Cígler (hynek.cigler@mail.muni.cz)
   Konzultační hodiny: pondělí od 14:00 (ideálně po semináři). 
2. Seminární skupina 02 (sudé týdny, 10:00): Petr Palíšek (petr.palisek@fss.muni.cz)
3. Seminární skupina 03 (liché týdny, 12:00): Petra Hubatková (petra.hubatkova@mail.muni.cz) 

Dále v kurzu působí Tomáš Kratochvíl (kratochvilt@mail.muni.cz), Jakub Brojáč (brojac@mail.muni.cz) a Karel Rečka (reckak@mail.muni.cz), kteří povedou týmy při přípravě seminárních prací a tyto práce budou hodnotit. 

Požadavky na ukončení kurzu

Hodnocení testu je založena na průběžných testech, seminární práci a závěrečná zkoušce, která se skládá z ústní a písemné části. Pro úspěšné absolvování kurzu je dále nezbytné mít dostatečnou účast na seminářích.

1. Průběžné testy

V průběhu semestru budou vypsány celkem tři krátké testy, obsahujících vždy otázky s otevřenou odpovědí, zadání pro analýzy a výpočty apod. Tyto testy budou zaměřeny na porozumění literatuře a na praktickou dovednost při provádění analýz. 

Testy budou tzv. "open-book", bude tedy možné při jejich řešení možné využívat libovolnou literaturu. Test si můžete otevřít kdykoli z domova ve zvoleném týdnu (úterý–neděle), administrace i odpovídání bude probíhat v IS MU. Pozor: každý test půjde otevřít maximálně jedenkrát, následně bude běžet lhůta pro jeho vypracování (zpravidla 30–60 minut). Testy budou opraveny zpravidla do 7 dnů po termínu odevzdání (v minulosti docházelo k drobným zpožděním, za která se předem omlouváme :-).

Každý z průběžných testů bude hodnocen 10 body, celkem je tedy možné získat maximálně 3×10 = 30 bodů. Podmínkou připuštění ke zkoušce je zisk alespoň 16 bodů ze všech testů dohromady; při zisku 15 a méně bodů bude kurz hodnocen známkou "X". 

Testy není možné opravit! V případě závažných (zdravotních či jiných důvodů) budeme výjimky řešit individuální formou; zavčas nás v takovém případě kontaktujte. V případě, že kurz opakujete, je nutné absolvovat průběžné testy znovu. 

2. Skupinová seminární práce

Práce je hodnocena maximálně 30 body a není stanovena minimální hranice pro úspěšné absolvování. Práci není možné přepracovat, zpětná vazba bude poskytnuta zpravidla ústně během domluvených termínů. Seminární práce bude podrobně zadána prvním setkání.

3. Závěrečná zkouška

Závěrečná zkouška se skládá z písemné a ústní části. Při nedosažení minimálního počtu bodu v kterékoli z částí student/ka obdrží hodnocení F a je nezbytné opakovat obě části zkoušky.

3a. Písemná část závěrečné zkoušky 

V závěru semestru budou vypsány termíny písemného znalostního testu. Ten bude trvat zhruba 60−90 minut a jejich vyplnění proběhne v počítačové učebně prezenčně na FSS. Písemný test bude hodnocen 0−30 body, pro úspěšné absolvování kurzu a umožnění přístupu k ústní části zkoušky je nutné získat alespoň 16 bodů. Při zisku 15 a méně bodů je uděleno hodnocení F a test je nutné přepracovat v opravném termínu. 

3b. Ústní část závěrečné zkoušky

Závěrečná ústní zkouška má podobu konzultace a rozhovoru nad obsahem kurzu; její součástí bude jedna vylosovaná otázka na základní témata probíraná v rámci kurzu. Pro její úspěšné zvládnutí je nezbytná schopnost diskutovat nad vlastnostmi psychologických testů a jednotlivými psychometrickými koncepty, stejně jako základní znalosti psychometrických pojmů a teorií, které jsou pro takovou diskuzi nezbytné. Doba trvání zkoušky bude zpravidla 5−10 minut. 

Ústní zkouška je hodnocena 0−10 body, případně hodnocením "nedostatečně", pokud celkový výkon studenta/studentky neodpovídá požadavkům na ukončení kurzu. V případě hodnocení "nedostatečně" je udělena známka "F" a je nutné opakovat písemnou i ústní část zkoušky. Stejně tak, pokud student/ka nezíská minimální potřebný počet bodů pro úspěšné absolvování kurzu, je rovněž uděleno hodnocení "F" a je nutné obě části opakovat.

4. Účast na seminářích

Vyžadována je běžná 80% účast na seminářích (v případě potřeby lze výjimečně navštívit jinou seminární skupinu). V případě výrazné neomluvené neúčasti bude uděleno neúspěšné hodnocení "−".

Výsledné hodnocení

V kurzu je tedy možné získat maximálně 3×10 + 30 + 30 + 10 = 100 bodů. Závěrečná známka je udělena podle následujícího klíče:

A	B	C	D	E	F	X
100–91 b.	90–81 b.	80–71 b.	70–61 b.	60–51 b.	50 b. a méně Dílčí neúspěch u závěrečné zkoušky	15 b. a méně z průběžných testů

Další informace a pokyny

Formát testů open-book, navíc zodpovídaných z domova, může být i po dvou letech epidemie covid-19 stále poněkud nezvyklý. Chceme proto vyjasnit některé otázky s tím spojené.

Sdílení položek testů

Základní předpoklad těchto testů je stejný, jako u veškerých jiných studijních povinností: tedy že každý student či studentka vypracovává odpovědi na test sám za sebe, bez pomoci svých spolužáků, a ani jim žádným neférovým způsobem nepomáhá. V tomto případě jde zejména o předpoklad, že nebudou v žádném případě sdíleny vypracované odpovědi na testové položky; nikdo je nebude poskytovat a nikdo je nebude ani poptávat. 

Stejně tak nebude sdíleno zadání položek ostatním spolužákům, kteří test ještě neabsolvovali. Test má omezený časový limit, jehož cílem je skutečně zajistit, abyste byli připraveni před začátkem testu. Bez časového limitu by každá z položek byla na jednu stranu poměrně jednoduchá (protože s dostatkem času by šla zodpovědět dokonale), na druhou stranu by to vedlo k vaší neúměrné zátěži; dovedeme si představit, že by někteří z vás test vypracovávali několik večerů. Sdílením testového zadání je toto opatření obcházeno nehledě na to, že vaši spolužáci mohou vaše odpovědi využít ve svých vlastních odpovědích, a tím vás zpětně poškodit (hodnocení je vždy chtě nechtě do jisté míry relativní a výsledek každé studenta závisí na výsledku ostatních studujících, se kterými je částečně srovnáván).

Jiné formy spolupráce

Sdílení výpisků, vzájemné diskuze nad tématy a podobně jsou samozřejmě nedílnou součástí studia a jsou vlastně žádoucí. Na druhou stranu platí, že stejně jako v jako jiných kurzech nebo jako v případě státních zkoušek nedoporučujeme studovat přímo z cizích výpisků - např. u státnic je většinou hned poznat, kdo se učil z vlastních zdrojů, a kdo pro přípravu využil cizí výpisky. Znalosti získané z výpisků bez studia prvotní literatury jsou prostě jiné, slabší, méně "hutné". 

Studium z výpisků však nelze pochopitelně zakázat. Přesto však není vhodné výpisky použít pro vypracování testu; doporučuji vždy využít primární literaturu, učebnice či jiné zdroje.

Rovněž na vás apelujeme, abyste testy nevypracovávali společně, jakkoli to může na první pohled vypadat lákavě.

Práce se zdroji

Při práci s testem ve formátu open-book můžete využívat libovolné zdroje a kombinovat je s vašimi znalostmi. Pokud se však rozhodnete využít konkrétní informaci z konkrétního zdroje, citujte ji. Není nutné striktně dodržovat APA formát, musí však být jasné, odkud čerpáte, pokud to není evidentní. Stejně, jako u jiných textů a prací, nedoporučujeme používat doslovné citace. Pokud se však přesto rozhodnete citovat některý ze zdrojů doslova, používejte důsledně uvozovky; vyhnete se tím řadě problémů. Stejně jako v jiných pracích, i zde však jde o nepreferovanou variantu. Parafráze jsou lepší!

Ovšem i v případě parafrázování uvádějte zdroj; pokud jde o zdroj z povinné literatury či jiného "známého" zdroje, stačí jen citace v textu; u jiných pramenů pak zdroj odkažte, ať už v APA formátu, nebo alespoň hypertextovým odkazem. V žádné případě však nepoužívejte jako zdroj přímo výpisky a už vůbec ne pro doslovné citace. Můžete však výpisky použít pro rychlejší navigaci na zdroj, z něhož výpisky pocházejí. 

Citování je důležité kvůli případné podobnosti obsahu, formulaci a struktuře informací. Pokud odpověď prostě "víte" nebo si nějaká fakta "pamatujete", zdroj samozřejmě dohledávat nemusíte, stačí jednoduše odpovědět (předpokládá se, že necitované odpovědi jsou z vaší hlavy).

Dejte si pozor na kvalitu zdrojů. Není žádoucí využívat jako zdroj např. Wikipedii, není to však ani zakázáno. Pokud takový zdroj přesto využijete, citujte jej.

Rozsah odpovědí

Každá z otázek v průběžných textech obsahuje limit rozsahu odpovědi v podobě maximálního počtu znaků. Lze však odevzdat test s překročeným rozsahem; hlavním cílem rozsahu je poskytnout vodítko, jak rozsáhlá má být vaše odpověď, a kromě toho i omezit délky odpovědí, aby bylo možné je ve smysluplném čase přečíst a obodovat. 

Pokud je tedy limit např. 1500 znaků, pak 300znaková odpověď bude zřejmě příliš krátká, naopak odpověď na 3000 znaků je zbytečně rozsáhlá. Perfektní, skvělá odpověď se bude pohybovat kolem maximální rozsahu. Je zároveň evidentní, že případné citace a uvádění zdrojů text mírně "nafoukne", v případě rozsáhlejšího využívání zdrojů lze tedy očekávat přiměřené přesáhnutí maximálního počtu znaků.

Hodnocení a posouzení správnosti

Hodnocení úzce souvisí s rozsahem odpovědi. V rozsáhlejším textu máte sice větší pravděpodobnost, že vyjmenujete vše podstatné, zároveň se ale vystavujete zvýšenému riziku, že zmíníte něco, co je evidentní nesmysl. Většina otázek v open-book testech nemá jedinou správnou odpověď, zpravidla lze zvolit více různých formátů odpovědi a dílčích informací, které povedou k zisku stejného počtu bodů. V každém případě je však hodnocení založeno na vyvážení "plusových bodů" za zajímavé informace a úvahy, a "mínusových bodů" za mylné informace a jednoznačně chybné úvahy. 

V ideálním případě by tedy v perfektní odpovědi měly zaznít všechny důležité informace a myšlenky, odpověď by měla pracovat s nejistotou a případné nepřesnosti by měly být studentem reflektovány, a odpověď by naopak neměla obsahovat žádné zjevné nedostatky. 

Standa Ježek vypracoval sérii kroků, které je dobré projít pro vypracování kvalitní seminární práce. Následující seznam lze využít jako check-list, abyste na nic nezapomněli. 

Ne všechny body je nicméně potřeba zahrnout, pro určité typy prací naopak bude potřeba využít i jiné postupy. Berte následující seznam jen jako doporučení, které není nijak závazné.

1. Teorie: co to (váš měřený konstrukt) je , s čím to souvisí, jak se k jeho měření již přistupovalo apod.
   Dále také účel vaší metody, cílová populace, populace pro pilotáž (může, ale nemusí být totožná).
2. Fasety: jak se to projevuje a za jakých různých okolností se to projevuje.
3. Vymýšlení typů položek v duchu nekritického brainstormingu – všemožné typy úkolů (výkon, chování) a otázek (self-report) na všechny fasety.
4. Vymýšlení více položek typů, které se vám zdají nadějné. Názor na "nadějnost" může vyjádřit i zástupce populace, pro kterou metodu vytváříte, neváhejte se o tom pobavit s někým z cílové populace.
5. Sestavení pilotní verze metody. Buďte k položkám kritičtí, klaďte důraz na obsahovou validitu (aby se na nějaký projev nezapomnělo, aby to nebylo jen o jednom, dvou možných projevech). Vyvažujte mezi pokrytím všeho a únosnou zátěží pro měřenou osobu (v našem motivačním kontextu bychom těžko zdůvodnili větší zátěž než na asi 30 minut, spíše mnohem méně).
6. Kognitivní interview: s několika jednotlivci různou formou vychytat největší chyb položek/úkolů – neporozumění, špatné porozumění, neschopnost odpovědět, přílišná náročnost apod. Následně položky upravte.
7. Vlastní pilotáž: vedle první verze metody naplánujeme získání alespoň jedné další proměnné, která by mohla poskytnout info o empirické validitě (může jít o jinou metodu, demografický údaj atp.). Vzorek reálně nebude ani velký ani reprezentativní, ale lze aspirovat na to, aby v něm byli zastoupeni lidé, kteří mají s velkou pravděpodobností velmi nízkou i velmi vysokou míru našeho konstruktu. Lze uvažovat i o tom, že využijete službu, kterou Hynek nabízel, kdy vám z málo dat naklonuje větší množství dat – to usnadní analýzy, ale značně zvýší "umělost" celé analýzy.
8. Analýza dat: Položková analýza, faktorová analýza, vztah s kritériem. Až zde má smysl něco počítat.
9. Diskuze, závěry: Popište, co by se na metodě na základě analýz mělo změnit. Můžete to rovnou i změnit a předložit upravenou verzi, ale k práci přiložte zejména tu verzi, která byla administrována pilotnímu vzorku.

Přednáška poskytne základní rámec k uvažování o měření v psychologii. Představíme vám základní historické milníky ve vývoji měření psychických jevů, důležitost existence teorie či modelu měření. Budeme ilustrovat způsoby využití psychometriky v rámci psychologické praxe, a to v teoretickém i aplikovaném výzkumu. Stručně představíme rovněž i základní psychometrické pojmy: validitu, reliabilitu, objektivitu, standardizaci a normy. Stručně nastíníme koncept psychologického škálování, typy položek a škál. 

Součástí prvního setkání je i podrobný popis organizace celého kurzu, vysvětlení hodnocení a požadavků na jeho ukončení.

Klíčová témata

1. Cíle a podstata psychometriky jako vědní disciplíny.
2. Stručná historie psychometriky a psychologické diagnostiky.
3. Epistemologická východiska psychometriky, operacionalismus jako základ CTT.
4. Fundamentální měření, aditivita (řazení a řetězení), závěry Fergusonovy komise a jejich dopady na měření v psychologii.
5. Základní psychometrické pojmy: validita, reliabilita, objektivita, férovost, normy, standardizace. Náležitosti psychodiagnostických metod.
6. Model měření; klasická testová teorie (CTT).
7. Pravé skóre, hrubé skóre, chyba měření, latentní a manifestní proměnná.

Studijní zdroje

Povinná literatura

Povinná literatura k tomuto setkání je poněkud delší než obvykle. Pokud nemáte prostor přečíst celých cca 80 stran, doporučuji začít první kapitolou z Furra (s. 1–15; na zbylé strany jen nahlédněte, jsou opakováním toho, co byste již měli vědět, a lze je tedy vynechat). Následně pokračujte Hoganem; první strany jsou nezbytné, od s. 18 pokračuje historický přehled, který je sice velmi čtivý, ale překrývá se s tématem přednášky. 

1. FURR: strany 1–40.
2. HOG: strany 3–42.

Doporučená a rozšiřující literatura

3. URB: strany 13–71 a 78–93. 
   (Tohle stínuje témata z Furra a Hogana, lze využít alternativně namísto nich, pokud preferujete český jazyk.)
4. FURR: strany 40–56
   (Opakování důležitých statistických konceptů, pokud cítíte ve statistice určité mezery, nebo jste neabsolvovali oba statistické kurzy na katedře psychologie.)
5. Buchanan, R. D., & Finch, S. J. (2005). History of Psychometrics. Encyclopedia of Statistics in Behavioral Science (pp. 1–4). doi:10.1002/0470013192.bsa282
   (Pokud vás zaujala historie psychometriky, jde o velmi zkrácené čtyřstránkové povídání, které by vás mohlo bavit.)
6. Gregory, R. J. (2014). Chapter 2: Origins of Psychological Testing. In Psychological Testing : History, Principles, and Applications (pp. 56–81). Pearson.
   (Pokud stále nemáte dost historie, tak tohle povídání o historii je ještě lepší! :-) 

7. Revelle, W., Wilt, J., & Condon, D. M. (2011). Individual differences and differential psychology: A brief history and prospect. In T. Chamorro-Premuzic, S. von Stumm, & A. Furnham (Eds.), The Wiley-Blackwell handbook of individual differences (pp. 3–38). Wiley-Blackwell.
   (Tohle je první kapitola on-line učebnice psychometriky. Revelle píše velmi zhutněným stylem, kdy na pár stránkách dostanete velmi vyčerpávající přehled určitého tématu. Nenechte se zmást, tato kapitola není ryze o historii psychometriky, ale zabývá se východisky stávající psychometriky; to však bez historie nelze.)

Na semináři bude zadána seminární práce. Dále bude popsán způsob tvorby psychodiagnostických měřicích nástrojů, druhy položek, jejich výběru a základy konceptu obsahové (výběrové) validity. Studenti si budou sami moci vyzkoušet úvahu nad obsahovou validitou, operacionalizací konstruktu, a generování několika málo položek.

Klíčová témata semináře

1. Různé druhy položek a formátů odpovědí.
2. Psychologické škálování: Likertova škála, Thurstonova škála, Guttmanova škála.
3. Obsahová validita, výběrová validita. 
4. Dekompozice obsahového univerza, obsahové univerzum, doména, fasetový model.

Studijní zdroje

Povinná literatura

Povinná literatura je shodná s literaturou k předchozímu setkání (přednášce 1).

Doporučená (rozšiřující) literatura

Pokud tápete v některém tématu ze semináře, můžete využít rozšiřující literaturu:

1. Přehled škál používaných v psychologii: 
   Price, L. R. (2016). Psychometric Methods: Theory into Practice (kap. 5, pp. 141–164). New York: Guilford Press. 
   Skvělé shrnutí všech možných škál a typů dotazníků, se kterými se můžete setkat v psychologii.
2. Vývoj položkové banky: 
   Price, L. R. (2016). Psychometric Methods: Theory into Practice (pp. 165–181). New York: Guilford Press.
   Jde o step-by-step návod k tvorbě položkové banky a pro vývoj nového měřicího nástroje. Tenhle návod můžete přímo využít při tvorbě seminární práce.
3. Jiný pohled na vývoj testu:
   SCHULTZ, kap. 3–4, pp. 31–53.
4. Ucelený seznam požadavků na vývoj diagnostických nástrojů:
   Downing, S.M. (2006). Twelve steps for effective test development. In S.M. Downing & T.M. Haladyna (Eds.), Handbook of test development (pp. 3–25). Mahwah, NJ:  Lawrence Erlbaum.
   Handbook of test development je asi nejucelenější kniha o vývoji psychologických testů; v jednom z jejích mnoha vydáních je k dispozici v knihovně FSS MU. Pokud v budoucnu uvažujete o kariéře v oblasti testového vývoje, jde o nezbytné čtení - autoři sborníku popisují step-by-step kroky od testového záměru, přes vývoj a ověřování až po publikační náležitosti. Řada pokynů směřuje dokonce i distributorům a vydavatelům testových metod či recenzentům.

Přednáška představí model měření klasické testové koncept reliability jako ústřední základ klasické testové teorie a představí rovněž i model měření klasické testové teorie. Představeny budou základní způsoby odhadu reliability.

Klíčová témata

1. Obecná definice reliability, její implikace pro měření. Vztah pravého a pozorovaného skóre, latentní a manifestní proměnné.
2. Operacionalizace reliability v CTT, její předpoklady, koncept paralelních testů. 
3. Odhady reliability: test retest, reliabilita paralelních forem, shoda posuzovatelů, vnitřní konzistence.
4. Reliabilita kompozitního a rozdílového skóre.
5. Metody odhadu vnitřní konzistence: Split half (Spearmanův Brownův vzorec, Guttmanova λ₄), Guttmanovy koeficienty vs. analýza kovarianční matice – Cronbachova alfa. Specifické případy: stratifikovaná a standardizovaná Cronbachova alfa.
6. Slabiny CTT: předpoklad intervalových škál pro analýzu rozptylu, závislost výsledků na rozložení latentních proměnných resp. na vyšetřované populaci, obtížnost položky jako závislost na populaci; nerealističnost předpokladu lineárního vztahu hrubých skórů a latentní proměnné. Psychometrický paradox.
   
7. Faktory ovlivňující reliabilitu testu.

Studijní zdroje

Povinná literatura

1. FURR: s. 101–186

Další materiály, ilustrační aplikace apod.

Doporučená a rozšiřující literatura

2. Revelle, W., & Condon, D. M. Reliability. Unpublished manuscript. Retrieved online: https://www.personality-project.org/revelle/publications/reliability-final.pdf
   (Poměrně kvalitní konceptuální přehled tématu reliability, může být místy náročnější na pochopení.)
3. SCHULTZ: s. 55–81.
   (Skvělý rozšiřující zdroj. Obsahuje jednoduché praktické příklady, snadnější na pochopení.)
4. Sijtsma, K. (2009). On the Use, the Misuse, and the Very Limited Usefulness Of Cronbach’s Alpha. Psychometrika, 74(1), 107-120. doi:10.1007/S11336-008-9101-0.
   (Skvělé shrnutí nevýhod Cronbachovy alfy. Poměrně dost náročné na čtení.)
5. Marko, M. (2016). Využitie a zneužitie Cronbachovej alfy pri hodnotení psychodiagnostických nástrojov. Testfórum, 5(7), 99-107. doi:10.5817/TF2016-7-90
   (Vzdáleně podobné článku Sijtsmy, v češtině, výrazně srozumitelnější.)
6. Cho, E. (2016). Making Reliability Reliable: A Systematic Approach to Reliability Coefficients. Organizational Research Methods, 19(4), 651–682. doi:10.1177/1094428116656239
   (Přehled všech možných odhadů reliability. Rovněž nejde o jednoduchý test.)
7. Raykov, T. (1997). Estimation of Composite Reliability for Congeneric Measures. Applied Psychological Measurement, 21(2), 173–184. doi:10.1177/01466216970212006
   (Zobecnění konceptu vnitřní konzistence na kongenerické testy; skvělý článek o rodině o.)
8. Cronbach, L. J., & Shavelson, R. J. (2004). My Current Thoughts on Coefficient Alpha and Successor Procedures. Educational and Psychological Measurement, 64(3), 391–418. doi:10.1177/0013164404266386
   (Jak to Cronbach s alfou vlastně myslel? :-) Článek spoluautorovaný Lee J. Cronbachem na sklonku jeho života k 50. výročí historie koeficientu alfa.)

Průběžný test (vyplňujte 8.–13. března)

Pro zodpovězení tohoto testu postačuje povinná literatura. Doporučená a rozšiřující literatura však může zlepšit pochopení celého tématu a zjednoduší odpovídání. Test se zaměřuje na obsah přednášky i semináře, primárně se bude zaměřovat na pochopení témat. Součástí budou i praktické výpočty. Nedoporučuji spoléhat se jen na on-line kalkulačky.

Obsahem semináře bude především představení konceptu chyby měření a její využití při administraci a interpretaci psychodiagnostických testů na individuální úrovni, např. v podobě konstruktu intervalů spolehlivosti. Vlastní aplikace výpočtů bude vyžadovaná, nebude postačovat pouze dovednost použít dostupné "kalkulačky".

Hlavní témata semináře

1. Standardní chyba měření, regresní model klasické testové teorie.
2. Odhad pravého skóre, standardní chyba odhadu pravého skóre.
3. Standardní chyba rozdílu.
4. Konstrukce intervalů spolehlivosti pro různé účely. 

Literatura

Povinná literatura

1. Kratičký text s konceptuálními informacemi o různých druzích chyb měření:
   Dudek, F. J. (1979). The continuing misinterpretation of the standard error of measurement. Psychological Bulletin, 86(2), 335–337. https://doi.org/10.1037/0033-2909.86.2.335
   
2. Rozsáhlejší text v podobě konkrétních guidelines:
   Harvill, L. M. (1991). An NCME Instructional Module on Standard Error of Measurement. Educational Measurement: Issues and Practice, 10(2), 33–41. https://doi.org/10.1111/j.1745-3992.1991.tb00195.x

Doporučená a rozšiřující literatura

3. Instruktážní článek v českém jazyce:
   Cígler, H., & Šmíra, M. (2015). Chyba měření a odhad pravého skóru: Připomenutí některých postupů Klasické testové teorie. Testfórum, 4(6), 67–84. doi:10.5817/TF2015-6-104
   (Postup odhadu chyby měření v češtině.)
4. Ukázka, že všechno není jednoduché, a ne každý s námi doporučeným postupem souhlasí:
   Charter, R. A., & Feldt, L. S. (2001). Confidence intervals for true scores: Is there a correct approach? Journal of Psychoeducational Assessment, 19(4), 350–364. https://doi.org/10.1177/073428290101900404 
   

Užitečné odkazy

Přednáška se zaměřuje na koncept validity měřícího nástroje, zejména pak psychodiagnostické metody pro účely praktické psychologické diagnostiky i výzkumu v sociálních vědách. Představeno bude tradiční způsob uvažování o validitě, ale hlavním tématem bude moderní, tzv. Messickovo pojetí validity, které poslouží jako konceptuální rámec pro zbytek kurzu.

Klíčová témata

• Tradiční pojetí validity: obsahová, empirická, konstruktová. Pojetí konstruktové validity podle Cronbacha a Meehla (1955).
• Moderní pojetí validity: Messickova (1989) sjednocená konstruktová validita. Zdroje důkazů konstruktové validity podle Messicka: vnitřní struktura testu, souběžná validita, validita procesu odpovídání, obsahová validita, důsledky využití testu. 
• Kritika Messickova pojetí (např. Borsboom), přínosy Messickova pojetí pro praktickou psychodiagnostiku.
• Tradiční pojmy související s empirickou validitou: kriteriální, prediktivní, konvergentní, divergentní, inkrementální, diferenciální atd. Způsoby empirického odhadu jednotlivých ukazatelů validity.
• Tradiční pojmy související s obsahovou validitou: face-validity, zjevná a zdánlivá validita. Barnumský (Forerův) efekt. Faktorová validita.
• Tradiční nástroje konstruktové validity: multi-trait multi-method matrix
• Vztah validity a reliability, dopady nereliability na validitu měřícího nástroje i interní validitu výzkumu: attenuation formula, psychometrický paradox, nereliabilní kontrolní proměnné.
• Omezení empirické validity: efekt stropu, podlahy, kompenzatorní efekt, Simpsonův paradox.
• Klinická vs. statistická predikce; Meehlovy experimenty (Grove, 2005).

Studijní zdroje

Validita je klíčovým konceptem psychometriky a proto je tentokrát literatura poněkud rozsáhlejší. Na druhou stranu, literatura k semináři bude spíše úsporná (důležité je umět realizovat položkovou analýzu, k tomu není potřeba číst) a tak si můžete četbu rozložit třeba do obou týdnů.

Předpokládáme studium obou povinných textů. Furra můžete prolétnout, Borsbooma je lepší přečíst více pozorně. Pokud vás téma zaujme, zkuste si vybrat kterýkoli anglický zdroj z doporučené literatury podle vašeho zaměření, můžete využít popisky k jednotlivým textům. Všechny texty jsou zajímavé a témata se značně liší; pokud máte čas, určitě mezi nimi bude něco, co vás zaujme.

Povinná literatura

1. FURR: s. 197–269.
2. Borsboom, D., Mellenbergh, G.J., & van Heerden, J. (2004). The Concept of Validity. Psychological Review 111(4), 1061–71. https://doi.org/10.1037/0033-295X.111.4.1061

Doporučená a rozšiřující literatura

Historie a východiska

Občas je velmi užitečné se podívat na to, jak o některých aspektech uvažovali jejich autoři (viz např. Likert a Likertova škála). V tomto kontextu doporučuji následující texty:

1. Jak uvažoval o validitě Cronbach a Meehl v padesátých letech?
   Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302. https://doi.org/10.1037/h0040957
2. Jak testovat validitu pomocí MTMM matice?
   Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81-105. http://dx.doi.org/10.1037/h0046016
   
3. Validita podle Messicka od Messicka, a to včetně zdůvodnění, proč to jeho pojetí vypadá tak, jak vypadá.
   Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. https://doi.org/10.1037/0003-066x.50.9.741
   
4. Každý psycholog asi slyšel o Forerově (barnumském) efektu. Originální Forerova studie je proto pravý balzám na duši!
   Forer, B. R. (1949). The fallacy of personal validation: a classroom demonstration of gullibility. The Journal of Abnormal and Social Psychology, 44(1), 118–123. https://doi.org/10.1037/h0059240 
   

Doplňující texty a rozšiřující zdroje

1. Tenhle zdroj opravdu doporučuji. Lissitz i Samuelsen jsou významní autoři na poli validity. V relativně recentním článku shrnují dosavadní pohledy na validitu a navrhují ještě jedno, novější a přehlednější pojetí, které vnáší světlo a systém do Messickova pojetí (text je součástí povinné literatury v magisterském kurzu Psychometriky PSYn4790):
   Lissitz, R. W., & Samuelsen, K. (2007). A Suggested Change in Terminology and Emphasis Regarding Validity and Education. Educational Researcher, 36(8), 437–448. http://dx.doi.org/10.3102/0013189x07311286
2. Pokud máte obtíže s angličtinou, můžete zkusit nahlédnout i do Urbánka (URB: strany 143–151). Knížka však obsahuje prakticky výhradně tzv. "tradiční pojetí". V případě tohoto tématu důrazně doporučuji studovat v angličtině, české zdroje raději vynechte.
   URB: strany 143–151

Související témata

S validitou souvisí řada dílčích aspektů a souvisejících témat. Mohly by vás zaujmout některé z následujících zdrojů:

1. Text o tom, jak zobecnit naše posouzení validity s pomocí meta-analýzy napříč vzorky:
   SCHULTZ: strany 123–136.
2. Meta-analýza Meehlových experimentů o tom, proč je i naše velmi nedokonalé testování stále lepší než "klinická zkušenost":
   Grove, W. M. (2005). Clinical Versus Statistical Prediction: The Contribution of Paul E. Meehl. Journal of Clinical Psychology, 61(10), 1233–1243. https://doi.org/10.1002/jclp.20179
3. Chcete si přečíst o Forerově efektu v češtině? A jaký má Forerův efekt vliv na populární diagnostiku (pop-psychologii)? Nahlédněte do bakalářky Petry Zelenákové (vedoucí Honza Širůček):
   Zelenáková, P. (2016): Forerův efekt v populárněpsychologické diagnostice. Brno, Masarykova univerzita. Nepublikovaná diplomová práce. Dostupné on-line: https://is.muni.cz/th/hidzr/Bakalarska_prace.pdf
4. Nereliabilita měřicího nástroje zkresluje validitu výzkumných závěrů (viz přednáška):
   Westfall, J., Yarkoni, T., Petrini, L., Szarota, P., Vries, R. de, & Blas, L. Di. (2016). Statistically Controlling for Confounding Constructs Is Harder than You Think. PLOS ONE, 11(3), e0152719. https://doi.org/10.1371/journal.pone.0152719 
   
5. Dopady nenáhodného výběru vzorku na odhad validity (viz přednáška):
   Zimmermann, S., Klusmann, D., & Hampe, W. (2017). Correcting the predictive validity of a selection test for the effect of indirect range restriction. BMC Medical Education, 17(1). http://dx.doi.org/10.1186/s12909-017-1070-5
   

---

3. průběžný test: vyplňujte 22.–27. 3. 2022

Test se bude skládat z validity (3. přednáška) a CTT položkové analýzy (3. seminář). Pro zodpovězení tohoto testu je nezbytná povinná literatura; jednotlivé typy validity podle Messicka nebyly v rámci přednášky probrány a je nutné je nastudovat. Pro tyto účely postačuje Furr postačuje, jako rozšíření lze využít i originální prameny (např. Messick, 1995). Nevynechejte prosím výběrovou validitu, která byla obsahem 1. semináře, a je součástí tohoto tématu. 

Rovněž se ujistěte, že budete schopni provést jednoduchou položkovou analýzu na zadaných datech: že máte na počítači k dispozici příslušný software a že jej umíte ovládat. Pro realizaci položkové analýzy doporučujeme JASP či SPSS; Excel je spíše pomalý.

Obsah není zveřejněný.

Cíle semináře

Seminář integruje poznatky z druhé a třetí přednášky, na jejichž základě představí praktické postupy položkové analýzy, reliability testu atd. v rámci klasické testové teorie (CTT), a to v návaznosti zejména na druhou přednášku. Postupy budou představeny v MS Excel, SPSS a zejména pak JASP. Očekává se dovednost provést analýzy v alespoň jednom z nich a adekvátně je interpretovat.

Klíčová témata:

• Základní parametry položek: diskriminační schopnost položky, popularita resp. obtížnost, reliabilita škály a její úpravy; požadavky na reliabilitu a předpoklady reliability.
• Elementární položková CTT analýza.
• Výpočet ukazatelů položkové analýzy v CTT: obtížnost/popularita, rozptyl, korigovaná korelace, koeficient ULI, diskriminační účinnost položky a další.
• Praktická schopnost provést položkovou analýzu ve zvoleném programu (doporučuji JASP).
• Vztah reliability a validity v praxi.
• Odhad reliability ve smyslu vnitřní konzistence.

Studijní zdroje

Povinná literatura

• SCHULTZ: strany 171–193. 
• FURR: s. 186–193

Doporučená a rozšiřující literatura:

• URB: strany 217–230.

Blok zaměřený na faktorovou analýzu se sestává z jedné přednášky a dvou seminářů, přednáší jej Adam Ťápal. V rámci bloku předvedeme model měření s latentní proměnnou, předpokládaný faktorovou analýzou, a představíme způsoby využití explorační (EFA) a konfirmační (CFA) faktorové analýzy při vývoji a standardizaci psychodiagnostických metod. Přednáška představí základní teoretická východiska. Semináře se prakticky zaměří na praktické provedení explorační i konfirmační faktorové analýzy. 

Klíčová témata

• Modely s latentní proměnnou, explorační faktorová analýza (EFA), konfirmační faktorová analýza (CFA).
• Analýza hlavních komponent, rozdíly oproti EFA.
• Identifikace optimálního počtu faktorů: Kaiserovo pravidlo, scree-plot, Hornova paralelní analýza.
• Metody extrakce explorační faktorové analýzy. Šikmé a ortogonální rotace.
• Metody odhadu konfirmační faktorové analýzy.
• Odhad konstruktové validity pomocí strukturního modelu a konfirmační faktorové analýzy.
• Typy proměnných z hlediska strukturálního modelování (manifestní, latentní, reziduální, endogenní, exogenní). Metody odhadu modelu; předpoklady o proměnných (rozložení, linearita vztahů). 
• Problémy a svody konfirmační faktorové analýzy: problémy spojené s konstrukcí a interpretací modelu, hierarchické a aditivní modely, chyba reifikace.
• Odhad explorační i konfirmační faktorové analýzy prakticky v programu dle svého výběru. Praktické ukázky budou prováděny v SPSS, R a Jamovi.
  

Studijní zdroje

Povinné zdroje

• FURR: s. 71–98 (EFA) a 331–353 (CFA). V novém vydání z roku 2018 jde o s. 121–163 (EFA) a 519–568 (CFA). Silně doporučujeme novou verzi učebnice.
• SCHULTZ: strany 269–300
• Kenny, D. A. (2015). Measuring Model fit. Dostupné online.

Doporučená a rozšiřující literatura:

• Urbánek, T. (2000): Strukturální modelování v psychologii. Brno: Psychologický Ústav AV ČR.
• McDonald, R.P. (1991): Faktorová analýza a příbuzné metody v psychologii. Praha: Academia.

Obsah není zveřejněný.

Klíčová témata

Explorační faktorová analýza

• Předpoklady (explorační) faktorové analýzy.
• Postupy pro odhad počtu faktorů: Cattelův scree-plot (sutinový graf), Kaiserovo pravidlo, paralelní analýza, srovnání shody modelů s daty...
• Metody extrakce (ML, ULS, minres, PAF...).
• Rotace faktorových nábojů, metody rotace (jednotlivé příklady šikmých a ortogonálních rotací).
• Faktorová indeterminace.
• Rozdíl mezi explorační faktorovou analýzou (EFA) a analýzou hlavních komponent (principal component analysis, PCA).
• Interpretace pojmů jako faktorový náboj, komunalita, eigenvalue (vlastní hodnota), "uniqueness", vysvětlený rozptyl (v EFA) a další.
• Absolutní a relativní indexy shody modelu s daty.
• Interpretace modelu (matice faktorových nábojů, pattern matrix, korelační matice faktorů a další).

Konfirmační faktorová analýza

• Omezení a fixování parametrů, rozdíl EFA a CFA.
• Vyhodnocení shody modelu s daty.
• Úpravy modelu; modifikační indexy, reziduální kovarianční matice. 
• Úpravy modelu; povolení cross-loadingů a reziduálních kovariancí.
  
• Standardizované vs. nestandardizované řešení.

Studijní zdroje

Povinná literatura

Pro přípravu postačuje přednáška o faktorové analýze a kapitoly týkající se explorační faktorové analýzy. 

Rozšiřující a doporučené studijní zdroje

• Courtney, M. G. R. (2013). Determining the number of factors to retain in EFA : Using the SPSS R-Menu v2 . 0 to make more judicious estimations. Practical Assessment, Research & Evaluation, 18(8), 1–14.
  Skvělý zdroj popisující a srovnávající jednotlivé metody odhadu počtu faktorů; používá k tomu speciální plug-in do SPSS.
• Revelle, W. (2020, January 7).  How To: Use the psych package for Factor Analysis and data reduction. Retrieved from https://cran.r-project.org/web/packages/psychTools/vignettes/factor.pdf
  Jednoduché shrnuté (nejen) explorační faktorové analýzy s podrobným postupem v programu R.
• Halquist, M. (2017, September 27). Factor Models. Rertrieved from https://psu-psychology.github.io/psy-597-SEM/06_factor_models/factor_models.html
  (Skvělý technický popis - nejen - explorační faktorové analýzy).

Přednáška představí koncept norem a standardizace testu a položí tak základ pro interpretaci testových výsledků a tedy i využití měřicích nástrojů v psychodiagnostické praxi. Kromě toho se zaměří na způsob konstrukce norem a návrh standardizačních studií. Tematický blok sestává výhradně z přednášky, nepatří k němu žádný seminář.

Klíčová témata

• Standardní skóry. Různé druhy standardních skórů, jejich interpretace.
• Odvozené skóry. Různé druhy odvozených skórů, jejich interpretace.
• Ipsativní a interaktivní skóry. Vývojové normy.
• Vliv chyby měření na interpretaci testových skórů.
• Způsob konstrukce norem, předpoklady jejich konstrukce.
• Design standardizační studie, způsob výběru standardizačního vzorku.
• Různé druhy norem pro různá použití.
• Intervenující proměnné při standardizaci.

Studijní zdroje

Povinná literatura:

• HOG: strany 61–106. 
• FURR: 56–69.
• Urbánek, T. (2010). Stav české psychologické diagnostiky a evropský model recenze testu. Testfórum, 1(1), 2–5. doi:10.5817/TF2010-1-1

Doporučená a rozšiřující literatura:

• Nahlédněte do několika manuálů v Kabinetu diagnostických metod; vyberte si nějaké klasické české metody, nějaký dobrý dobrý zahraniční test (Stanford-Binet, WISC, Leiter-2, SDS apod.), a srovnejte je.
• O normách v češtině:
  URB: strany 236–254.
• Kapitola zaměřená na kriteriální skórování: 
  SCHULTZ: strany 195–216
• Ukázkový psychometrický manuál (asi nejlepší, se kterým jsem se zatím setkal):
  McGrew, K. S., LaForte, E. M., & Schrank, F. A. (2014). Technical Manual. Woodcock Johnson IV. Rolling Meadows, IL: Riverside. Dostupné online: https://www.wjscore.com/Files/WJIVTechnicalManual.PDF

Mezinárodní komise pro testování produkuje řadu užitečných norem (nejen) o standardizaci. Doporučuji do nich alespoň nahlédnout:

• International Test Commission (2010). Guidelines for Translating and Adapting Tests, version 2010. Dostupné on-line:  https://www.intestcom.org/files/guideline_test_adaptation_2ed.pdf
• International Test Commission (2012). International Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. Dostupné on line: https://www.intestcom.org/files/guideline_quality_control.pdf
  • Případně totéž v časopise: International Test Comission (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14(3), 195–217. doi:10.1080/15305058.2014.918040
• International Test Commission (2014). ITC Statement On the Use of Tests and Other Assessment Instruments for Research Purposes. Dostupné on line: https://www.intestcom.org/files/statement_using_tests_for_research.pdf

Cílem přednášky je představit další teorie a modely měření, které se v psychologii a souvisejících vědách používají, a se kterými je možné občasně přijít do kontaktu. Cílem tohoto tématu je zejména konceptuální pochopení jednotlivých teorií se zaměřením na jejich podstatu a hlavní principy, přínos a výhody či hlavní oblasti použití. Cílem je také jednotlivé teorie konfrontovat a zdůraznit jejich rozdíly, a to jak technické odlišnosti, tak i rozdílná empistemologická východiska. 

Další teorie budou představovány skrze srovnání s klasickou testovou teorií, která bude podrobena obšírné kritice.

Klíčová témata:

• Formativní vs. reflektivní modely měření.
• Teorie zobecnitelnosti jako rozšíření CTT – fasetová struktura chyby měření, zdroje chyby měření. Rozdíl pojmu fasety v GT vs. teorii faset (viz výběrová validita).
• Teorie odpovědi na položku: základní koncept a principy; srovnání s faktorovou analýzou; charakteristická funkce položky; 1PL, 2PL a 3PL model měření.
• Příklady využití IRT: počítačové adaptivní testování, vyvažování testů (test-equating), pilotáž položek.
• Spojité měření: jen naprosté základy.
• Teorie vědomostních prostorů: jen naprosté základy. 
• Modely s diskrétními latentními proměnnými, analýza latentních tříd: jen naprosté základy.
• (Dynamické) síťové modely. Konceptuální východiska, použití, aplikace.
• Q-sort, sociometrie: jen naprosté základy. 

Studijní zdroje

Povinná literatura

V rychlosti si projděte následující kapitoly z Furra, které se zaměřují na teorii zobecnitelnosti a teorii odpovědi na položku.

• FURR: s. 355–383 (GT)
• FURR: s. 385–411 (IRT)

Další povinná literatura

Z následujícího seznamu si vyberte libovolný jeden podle tématu, které vás zajímá nejvíce, přečtěte jej a udělejte si na něj názor:

Doporučená a rozšiřující literatura:

• URB: strany 112–120, 152–181, 255–265.
• DeMars, C. (2010). Item Response Theory. Oxford: Oxford University Press.
  (Cca 100 stran, extrémně stručné s minimem statistiky!).
• Bond, T. G., & Fox, C. M. (2007). Applying The Rasch Model : Fundamental Measurement in the Human Sciences (2 ed). Mahwaw (NJ): Lawrence Erlbaum Associates. Strany xiii–49.
  (Konceptuální úvod do IRT).