strana 1 PSY259 Základy psychometriky & PSY479 Psychometrika Kurz seznamuje studenty se základy psychometriky jako aplikované psychologické disciplíny, jejíž zvládnutí je podmínkou pro další rozvíjení dovedností jak v oblastech psychologické praxe (psychologická diagnostika), tak teoretického výzkumu. Cílem je poskytnout absolventům základní teoretické poznatky oboru a posílit schopnost adekvátně je uplatňovat, v budoucnu například při posuzování a volbě psychodiagnostických metod, aplikaci psychometrických postupů při vyhodnocování testových výsledků, a konečně také při samostatné konstrukci vlastních metod pro konkrétní aplikační účely. Kurz je primárně zaměřen na oblast klasické testové teorie, další přístupy k měření v psychologii budou pouze zmíněny a budou obsahem navazujících kurzů v magisterském stupni studia. Vyučují Jan Širůček: sirucek@fss.muni.cz; místnost 2.47 Hynek Cígler: hynek.cigler@mail.muni.cz; místnost 2.47 Požadavky k úspěšnému ukončení předmětu Kreditová hodnota zkoušky činí 5 ECTS. Základním požadavkem přístupu ke zkoušce je splnění studijních povinností během semestru. Ty zahrnují (1.) vypracování skupinové seminární práce a její průběžné odevzdání v předem stanovených termínech, (2.) absolvování „exkurze“ či splnění náhradního úkolu, a (3.) absolvování nejméně dvou písemných testů v průběhu semestru. Zkoušku (s písemnou a ústní částí) je nutné úspěšně složit ve zkouškovém období příslušného semestru. K úspěšnému zvládnutí kurikula předmětu jsou nezbytné též znalosti základů psychologie osobnosti, vývojové psychologie, obecné psychologie, metodologie a statistické analýzy dat v rozsahu povinných kurzů přednášených na Katedře psychologie FSS MU ve studijním programu jednooborové psychologie. strana 2 Harmonogram kurzu Upřesnění a povinná literatura k jednotlivým tématům jsou uvedeny níže. Pořadí Datum Téma Vyučuje Poznámka 1 16. 2. 2014 Úvodní informace o kurzu, psychometrika jako pomocná psychologická disciplína. Měření v psychologii a příbuzných oborech, úvod do klasické testové teorie (CTT). Širůček a Cígler 2 23. 2. 2014 Reliabilita I. Širůček 3 2. 3. 2014 Reliabilita II. Širůček Zapsání týmů k seminární práci, anotace metody. 4 9. 3. 2014 Validita I. Základní koncepty. Širůček 5 16. 3. 2014 Validita II. Validita diagnostického závěru (ROC analýza, klasifikační tabulka). Cígler 6 23. 3. 2014 Konstrukce testu. Tvorba položek, druhy položek. Širůček Písemný test: témata 1–5. 7 30. 3. 2014 Normy a standardizace testu, design standardizační studie. Standardní a odvozené skóry. Širůček Odevzdání 1. části SP: Teoretické zakotvení, definice konstruktu. Návrh položek. 6. 4. 2014 Velikonoční pondělí – samostudium 8 13. 4. 2014 Položková analýza v CTT, konstrukce norem. Širůček Odevzdání 2. části SP: Způsoby ověření validity a reliability. 9 20. 4. 2014 Test a response bias, různé druhy zkreslení a jejich kontrola. Cígler Písemný test: témata 6–8. 10 27. 4. 2014 Sociometrie a další postupy k získávání dat I. Širůček 11 4. 5. 2014 Sociometrie a další postupy k získávání dat II. Širůček Odevzdání 3. části SP: Návrh standardizační studie. 12 11. 5. 2014 Další teorie měření: úvod do teorie odpovědi na položku (IRT), vědomostních prostorů (KST), zobecnitelnosti (GT) a spojitého měření (CMT). Cígler Písemný test: témata 9–11. strana 3 Tematický přehled Tento přehled představuje optimální sumu teoretických znalostí, které by absolvent měl získat k tomu, aby byl schopen absolvovat úspěšně předmět a uplatnit poznatky v praxi. Vzhledem k omezené době trvání kurzu jsou na přednáškách probírány pouze nejpodstatnější problematiky – předpokládáme průběžné prostudování povinné literatury k jednotlivým tématům. Téma 1: Úvodní informace o kurzu, psychometrika jako pomocná psychologická disciplína. Měření v psychologii a příbuzných oborech, úvod do klasické testové teorie (CTT). a) Vymezení psychometriky v systému psychologických věd a její smysl, různé definice měření v psychologii a příbuzných oborech. b) Historie měření v psychologii, metodologické a etické aspekty: měření rozumových schopností a psychometricky založený přístup v psychologii osobnosti. c) Základní pojmy z oblasti matematické analýzy dat (míry centrální tendence, analýza rozptylu, kovariance a korelace, úrovně měření a typy rozložení proměnných). d) Princip a základní pojmy klasické testové teorie (pravé skóre, hrubé skóre, chyba měření, latentní a manifestní proměnná). Motivace CTT: paralela s jednoduchým měřením v přírodních vědách. Povinná literatura:  Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál. Strany 13–93. Doporučená literatura (předpokládáme její znalost z předchozích kurzů):  Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ : John Wiley & Sons. Strany 3–42. Téma 2–3: Reliabilita a) Vztah mezi pravým a hrubým skóre, manifestní a latentní proměnnou. b) Definice reliability v CTT, její obecná formule c) Předpoklad invariantnosti opakování, předpoklady CTT. d) Techniky k odhadu reliability (vnitřní konzistence, test-retest, paralelní formy, shoda posuzovatelů a další). e) Chyba měření. Intervaly spolehlivosti hrubého a pravého skóre. f) Slabiny CTT: předpoklad intervalových škál pro analýzu rozptylu, závislost výsledků na rozložení latentních proměnných resp. na vyšetřované populaci, obtížnost položky jako závislost na populaci; nerealističnost předpokladu lineárního vztahu hrubých skórů a latentní proměnné. Psychometrický paradox. Povinná literatura:  Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál. Strany 94–131. strana 4  Revelle, W. (under development). An introduction to psychometric theory with applications in R. Kapitola 7–7.1, strany 205–208. http://www.personality-project.org/r/book/Chapter7.pdf.  Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ : John Wiley & Sons. Strany 107–148. Doporučená literatura:  Revelle, W. (under development). An introduction to psychometric theory with applications in R. Celá kapitola 7, strany 205–239. http://www.personality-project.org/r/book/Chapter7.pdf.  Sijtsma, K. (2009). On the Use, the Misuse, and the Very Limited Usefulness Of Cronbach’s Alpha. Psychometrika, 74(1), 107-120. DOI: 10.1007/S11336-008-9101-0. Téma 4–5: Validita a) Validita, způsoby uvažování o validitě (obsahová, empirická, konstruktová validita). Inkrementální validita. Průzkum validity položek faktorovou analýzou. b) Odhad konstruktové validity pomocí strukturního modelu. c) Strukturní modelování, konfirmační faktorová analýza. d) Typy proměnných z hlediska strukturálního modelování (manifestní, latentní, reziduální, endogenní, exogenní). Metody odhadu modelu; předpoklady o proměnných (rozložení, linearita vztahů). e) Problémy a svody konfirmační faktorové analýzy: problémy spojené s konstrukcí a interpretací modelu, hierarchické a aditivní modely, chyba reifikace. f) Validita diagnostického závěru, prediktivní validita. ROC analýza, klasifikační tabulka. Povinná literatura:  Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál. Strany 132–151.  Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ : John Wiley & Sons. Strany 149–194. Doporučená literatura:  Grove, W. M. (2005). Clinical Versus Statistical Prediction: The Contribution of Paul E. Meehl. Journal of Clinical Psychology, 61(10), 1233–1243. doi: 10.1002/jclp.20179.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Strany 331–353.  Urbánek, T. (2000): Strukturální modelování v psychologii. Brno: Psychologický Ústav AV ČR.  McDonald, R.P. (1991): Faktorová analýza a příbuzné metody v psychologii. Praha: Academia.  Software Amos (nainstalovaný v PC učebnách na FSS MU). strana 5 Téma 6: Konstrukce testu. Tvorba položek, druhy položek. a) Různé druhy položek a formátu odpovědí. Různé druhy metod. Náležitosti metod. b) Způsob výběru položek a konstrukce testové metody. Teorie faset, obsahové univerzum. c) Požadavky na položky při tvorbě metody. d) Základní parametry položek: diskriminační schopnost položky, popularita resp. obtížnost, reliabilita škály a její úpravy; požadavky na reliabilitu a předpoklady reliability. Povinná literatura:  Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál. Strany 217–235.  Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ : John Wiley & Sons. Strany 195–212. Doporučená literatura:  Prohlédněte si manuál některých (nejlépe zahraničních) metod dostupných v Kabinetu diagnostických metod (http://psych.fss.muni.cz/kabinet-diagnostickych-metod). Zaměřte se na způsob tvorby položek a koncepci testu jako takového. Srovnejte si různé typy testů. Téma 7: Normy a standardizace testu, design standardizační studie. Standardní a odvozené skóry. a) Standardní skóry. Různé druhy standardních skórů, jejich interpretace. b) Odvozené skóry. Různé druhy odvozených skórů, jejich interpretace. c) Ipsativní a interaktivní skóry. d) Vliv chyby měření na interpretaci testových skórů. e) Způsob konstrukce norem, předpoklady jejich konstrukce. f) Design standardizační studie, způsob výběru standardizačního vzorku. g) Intervenující proměnné při standardizaci. Povinná literatura:  Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál. Strany 236–254.  Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ : John Wiley & Sons. Strany 61–106. Doporučená literatura:  Prohlédněte si manuál některých (nejlépe zahraničních) metod dostupných v Kabinetu diagnostických metod (http://psych.fss.muni.cz/kabinet-diagnostickych-metod). Zaměřte se na způsob výběru standardizačního vzorku (doporučujeme test Woodcock-Johnson III).  Abstrakt technického manuálu W-J III je dostupný i on-line: Schrank, F. A., McGrew, K. S., & Woodcock, R. W. (2001). Woodcock-Johnson® III : Assessment Service Bulletin Number 2. Rolling Meadows, IL: Riverside. Dostupné online: http://www.riverpub.com/clinical/pdf/WJIII_ASB2.pdf. strana 6 Téma 8: Položková analýza v CTT, konstrukce norem. a) Cílem této hodiny je předvést CTT položkovou analýzu v praxi s využitím programů MS Excel, SPSS, případně programu R. b) Elementární položková CTT analýza (korelace), globální analýza (faktorová analýza). c) Výpočet ukazatelů položkové analýzy v CTT: obtížnost, rozptyl, korigovaná korelace, koeficient ULI, diskriminační účinnost položky a další. d) Výpočet standardních a odvozených skórů, odhad reliability a odvození chyby měření, konstrukce intervalů spolehlivosti. e) Statistické postupy položkové analýzy (deskriptivní statistiky, korelační analýza, regrese, t-test, ANOVA, faktorová analýza aj.). Povinná literatura:  Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál. Strany 236–254.  Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ : John Wiley & Sons. Strany 212–219, 223–228. Doporučená literatura:  Prohlédněte si manuál některých (nejlépe zahraničních) metod dostupných v Kabinetu diagnostických metod (http://psych.fss.muni.cz/kabinet-diagnostickych-metod). Zaměřte se na způsob výběru standardizačního vzorku. Doporučujeme test Woodcock-Johnson III.  Abstrakt technického manuálu W-J III je dostupný i on-line: Schrank, F. A., McGrew, K. S., & Woodcock, R. W. (2001). Woodcock-Johnson® III : Assessment Service Bulletin Number 2. Rolling Meadows, IL: Riverside. Dostupné online: http://www.riverpub.com/clinical/pdf/WJIII_ASB2.pdf.  Field, A. (2013). Discovering statistics using SPSS, 4th ed. New Delphi: Sage. Téma 9: Test a response bias, různé druhy zkreslení a jejich kontrola. a) Otázka objektivity a „férovosti“ při psychologickém testování. Vliv etnicity, vzdělání, sociokulturního prostředí na testové výsledky. Iluze „culture-free“ testu. b) Možné zdroje nenáhodné chyby měření: response bias, test bias. c) Nebezpečí zkreslení podle typu položky/testu. d) Tendence k souhlasu, styl odpovídání, sociální žádoucnost, sebeznevýhodňování, hádání a tipování. e) Koncept test bias – metody analýzy v rámci CTT, princip analýzy diferenciálního fungování položek. f) Standardy pro zajištění férovosti testování. Povinná literatura:  Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ : John Wiley & Sons. Strany 230–243.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Strany 273–328. strana 7 Doporučená literatura:  APA (2001). Standardy pro pedagogické a psychologické testování. Praha: Testcentrum. Strany 79–112. Téma 10–11: Sociometrie a další postupy k získávání dat  Sociometrie a nominační technika  Méně obvyklé, avšak inspirativní postupy měření v psychologii: Q-sort, repertoárové mřížky, psychosémantika Téma 12: Další teorie měření: úvod do teorie odpovědi na položku (IRT), vědomostních prostorů (KST), zobecnitelnosti (GT) a spojitého měření (CMT). a) Stručné představení dalších teorií měření, používaných v psychologii a příbuzných oborech. Jejich vzájemné srovnání. Kritika klasické testové teorie z pohledu jiných teorií. b) Teorie odpovědi na položku – základní koncept a principy (chyba měření v IRT, informační funkce položky). Srovnání Raschova (konfirmačního) a klasického IRT (exploračního/deskriptivního) přístupu. c) Teorie vědomostních prostorů jako úprava IRT – prerekvizitní relace. d) Teorie zobecnitelnosti jako rozšíření CTT – fasetová struktura chyby měření, zdroje chyby měření. e) Spojité měření (conjoint measurement) – stručné představení. f) Možnosti aplikace jiných přístupů k měření: počítačové adaptivní testování, kognitivní modelování, vyvažování testů (test-equating), pilotáž položek. Povinná literatura:  Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál. Zbylé strany (zejm. 71–80, 112–120, 152–203, 255–265). Doporučená literatura:  Bond, T. G., & Fox, C. M. (2007). Applying The Rasch Model : Fundamental Measurement in the Human Sciences (2 ed). Mahwaw (NJ): Lawrence Erlbaum Associates. Strany xiii–49.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Strany 355–411. strana 8 Souhrn povinné literatury (rozdělení k jednotlivým blokům viz výše, ne všechny uvedené zdroje jsou přiřazeny k některému z bloků):  Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál. Celá kniha.  Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ : John Wiley & Sons. Strany 61–243 plus jako doporučené strany 3–42.  Revelle, W. (under development). An introduction to psychometric theory with applications in R. Kapitola 7–7.1, strany 205–208. http://www.personality-project.org/r/book/Chapter7.pdf.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Strany 273–328.  EFPA (2005). Model recenze podle EFPA pro popis a hodnocení psychologických testů. Dostupné on-line: www.efpa.eu/download/505cd9db4144ecb16174087909c9cd6d. Základní literatura (předpokládáme její znalost z předchozích kurzů):  Hendl, J. (2004). Přehled statistických metod zpracování dat. Analýza a metaanalýza dat. Praha: Portál.  Ferjenčík, J. (2000). Úvod do metodologie psychologického výzkumu. (Jak zkoumat lidskou duši). Praha: Portál.  Goodwin, C. J. (2008). Research in Psychology: Methods and Design, 5. ed. New Jersey: Wiley & Sons Inc. Doporučená a rozšiřující literatura je uvedena vždy u jednotlivých témat. Dále pak doporučujeme prolistovat alespoň jednu z následujících knih:  Borsboom, D. (2005). Measuring the mind: Conceptual issues in contemporary psychometrics. Cambridge: Cambridge University Press.  Markus, K. A., & Borsboom, D. (2013). Frontiers of Test Validity Theory : Measurement, Causation, and Meaning. New York: Routledge.  Kline, P. (1998). The New Psychometrics : Science, Psychology and Measurement. New York: Routledge.  Bond, T. G., & Fox, C. M. (2007). Applying The Rasch Model : Fundamental Measurement in the Human Sciences (2 ed., příp. 3 ed.). Mahwaw (NJ): Lawrence Erlbaum Associates.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage.  Rust, J., & Golombok, S. (2009). Modern Psychometric : The Science of Psychological Assessment 3 ed. New York: Routledge. strana 9 Požadavky na ukončení kurzu 1. Maximálně 2 neomluvené absence. 2. Účast na společné exkurzi, nebo přijetí náhradního seminárního úkolu: a. Exkurze: Termín a cíl exkurze bude oznámen v prvních týdnech semestru. Exkurze bude pro studenty bezplatná. b. Neúčast na exkurzi je možné nahradit absolvováním workshopu konfirmační faktorové analýzy, který se uskuteční 29. 5. ve 13:00–18:45 a který povede Albert Kšiňan a Gabriela Jiskrová. Účast na workshopu je dobrovolná, hodnocen však bude jeho výstup – seminární práce Sestrojení modelu a interpretace konfirmační faktorové analýzy. Student může využít vlastní data, data dodaná vyučujícími. Práce bude hodnocena jako přijata/nepřijata a není možné ji přepracovat. 3. Absolvování alespoň dvou ze tří písemných testů. Každý je hodnocen maximálně 10 body, do závěrečného hodnocení jsou započítány dva lepší bodové výsledky. 4. Společná seminární práce (skupiny maximálně po 3): Zadání viz níže. Návrh postupu tvorby, validace a standardizace psychodiagnostické metody určené k měření zvoleného konstruktu. Skupině bude udělen 10násobek bodů, než je počet členů, které si mezi sebou rozdělí dle svého uvážení; za rozdělení zodpovídá osoba nahlášená na 3. setkání (max. 10 bodů/osoba). Min. počet bodů pro postup ke zkoušce je 5 bodů. Nelze přepracovat. 5. Závěrečná zkouška s písemnou (20 bodů) a ústní (10 bodů) částí. V případě méně než 10 bodů za písemnou část student k ústní zkoušce nepostupuje. Celkem lze tedy v předmětu získat 60 bodů. Závěrečné hodnocení proběhne podle následujícího klíče: A: 54–60 b B: 48–53 b C: 42–47 b D: 36–41 b E: 30–35 b F: 29 b a méně strana 10 Skupinová seminární práce Téma práce: Návrh postupu tvorby, validizace a standardizace psychodiagnostické metody určené k měření zvoleného konstruktu Vyberte vhodný pojem/konstrukt z psychologie individuálních rozdílů. Cílem seminární práce je navrhnout způsob konstrukce a ověření psychodiagnostické metody, která jej bude měřit. V prvé řadě definujte problém a specifikujte, jaký konstrukt měříte. Opřete se při tom o relevantní literaturu, definujte související pojmy – uveďte, proč pro tento konstrukt navrhujete zavést/upravit novou metodu namísto využití metod stávajících. Popište formu testových položek, způsob jejich tvorby a vymyslete alespoň dvě ukázkové položky pro každou dimenzi. Navrhněte způsob ověření validity a reliability, stejně jako standardizace metody; zvolte adekvátní teoretický přístup dle povahy měřeného konstruktu. Odhadněte adekvátní velikost vzorku potřebného k těmto krokům a způsob výběr respondentů. Závěrem se zamyslete nad limity a potenciálními omezeními takto vytvořené metody. Preferovány jsou práce se zajímavým technickým řešením a vhodně zvoleným konstruktem; jednoduché „dotazníkové“ metody nejsou doporučeny. Očekávaný celkový rozsah je cca 5 normostran. Vyhněte se obecně platným konstatováním (zejména u způsobů ověření reliability/validity) a zaměřte se na to, co je pro vaši metodu podstatné. Harmonogram odevzdávání seminární práce a její hodnocení Seminární práce bude odevzdána po částech do odevzdávárny předmětu. Jednotlivé dokumenty prosím pojmenujte „nazevtymu_cisloverze“. 1. Na 3. setkání (2. 3.) studenti nahlásí týmy (maximálně po třech) a v krátkosti budou ústně prezentovat zvolený konstrukt a hrubou podobu metody (cca 2 minuty). Zároveň si zvolí „vedoucího týmu“, který bude zodpovědný za přidělení získaných bodů na konci semestru. 2. 1. část seminární práce bude odezvána do 30. 3. (včetně) do odevzdávárny předmětu. Obsahem bude teoretické zakotvení konstruktu, odkazy na příslušnou literaturu a ukázka položek. 3. Do 13. 4. bude odezvána druhá část v novém dokumentu (která bude obsahovat i předchozí text včetně případných úprav). Tato část se zaměří na návrh způsobů ověření validity a reliability včetně konkrétních metod a postupů, které by měly být aplikovány. 4. Do 4. 5. bude odezvána finální verze textu s případnými úpravami předchozích částí. Práce bude hodnocena především za adekvátnost navržených postupů dle zvoleného konstruktu, smysluplnost konstruktu a argumentace konstruktu samotného. Práce s nízkou pravopisnou, stylistickou či formální úrovní mohou být bodově penalizované, nebo nemusí být přijaty vůbec (hodnocení 0 bodů). Za práci bude uděleno 0–10 bodů, které budou vynásobeny počtem členů v týmu. Tyto body si tým může rozdělit mezi jednotlivé členy dle vlastního uvážení (maximálně 10 bodů každé osobě). Způsob jejich rozdělení oznámí „vedoucí týmu“ na konci semestru.