PSY479 Psychometrika: měření v psychologii | podzim 2016
Vyučující:
Jan Širůček: sirucek@fss.muni.cz, místnost 2.47
Hynek Cígler: hynek.cigler@mail.muni.cz, místnost 2.47
Jan Šerek: serek@fss.muni.cz, místnost 2.51
Vít Gabrhel: vit.gabrhel@mail.muni.cz, místnost 2.47
Lucia Gálová (externista)
Konzultační hodiny: Širůček a Cígler ve středu 13:00–15:00, jinak po předchozí domluvě e-mailem
Charakteristika kurzu
Kurz se zaměřuje na metodologické a statistické postupy měření v psychologii včetně jejich epistemologického
zakotvení. Je rozdělen do tří tematických oblastí. První část kurzu se věnuje psychometrice jako takové. Druhá část se
zaměřuje na metodologické aspekty měření interindividuálních rozdílů i psychologického výzkumu a překlenuje
umělou dichotomii „kvalitativních“ a „kvantitativních“ paradigmat vědeckého poznání. Poslední část se zabývá
epistemologií měření člověka. Obsahem kurzu jsou i praktické dovednosti v psychometrických výpočtech pro
psychologickou praxi.
Návaznost kurzu
Přestože kurz v navazujícím magisterském studiu nemá žádné explicitní prerekvizity, přímo navazuje na předměty
bakalářského studia – zejména Základy psychometriky (PSY259), Kvantitativní metodologii (PSY112), Statistickou
analýzu dat (PSY117) a Statistickou analýzu dat II (PSY252).
Informace získané v kurzu Psychometrika naopak využijí další předměty magisterského studia, zejména
psychologická diagnostika. Doporučujeme si tento předmět zapsat před anebo souběžně s psychodiagnostickými
kurzy.
Studentům, kteří neabsolvovali zejména Základy psychometriky, důrazně doporučujeme projít studijní materiály
tohoto předmětu hned na začátku semestru – jejich znalost je předpokladem úspěšného absolvování současného
kurzu Psychometrika: Měření v psychologii. Studijní materiály posledního běhu Základů psychometriky jsou
přístupné na https://is.muni.cz/auth/el/1423/jaro2016/PSY259/.
Struktura kurzu
termíny datum téma přednášející poznámka
1 20. 9.
Základní koncepty měření v psychologii: validita,
reliabilita, objektivita, standardizace
Širůček,
Cígler
2 27. 9. Chyba měření a reliabilita, další koncepty Cígler
3 4. 10. Teorie odpovědi na položku a Raschův model I. Cígler
4 11. 10. Teorie odpovědi na položku a Raschův model II. Cígler
5 18. 10. Férovost v testování, test a response bias Cígler průběžný test 1 (témata 1–4)
6 25. 10. Praktický workshop (IRT analýza) Cígler
7 1. 11. Shoda posuzovatelů Cígler
8 8. 11. Replikovatelnost výzkumu a metaanalýza Gabrhel
9 15. 11. Mixed-methods research I. (základní pojmy) Širůček průběžný test 2 (témata 5–8)
10 22. 11.
Mixed-methods research II.
(validita a důvěryhodnost)
Širůček
11 29. 11.
Mixed-methods research III.
(rámce interpretace a generalizace)
Širůček seminární práce: recenze testu
12 6. 12. Epistemologie I. Šerek průběžný test 3 (témata 9–11)
13 13. 12. Epistemologie II. Šerek
Téma 1 (20. 9.): Základní koncepty měření v psychologii: validita, reliabilita, objektivita, standardizace
a) Uvedení do kurzu, požadavky k ukončení.
b) Připomenutí základů teorie měření (CTT) z bakalářské úrovně studia: validita, reliabilita, objektivita.
c) Standardizace, normalizace, druhy norem a skórů.
Literatura:
 HOGAN, s. 3–246 (pouze k prolistování, z větší části předpokládáme znalost z bakalářského studia)
 URBÁNEK (pouze k prolistování a připomenutí, předpokládáme znalost z bakalářského studia)
 BOND, s. 1–27
Téma 2 (27. 9.): Chyba měření a reliabilita, další koncepty
a) Vztah reliability a vysvětleného rozptylu.
b) Regrese k průměru a „true-score based“ intervaly spolehlivosti.
c) Pokročilá práce s chybou měření a její typy: chyba měření, predikce, rozdílu atd.
d) Reliabilita rozdílu, reliabilita lineárních kombinací.
e) Teorie zobecnitelnosti jako rozšíření CTT, vztah ANOVA a teorie zobecnitelnosti1
.
Literatura:
 FURR, s. 125–163, 355–384
 Cígler, H., & Šmíra, M. (2015). Chyba měření a odhad pravého skóru: Připomenutí některých postupů
Klasické testové teorie. Testfórum 4(6), 67-84. doi:10.5817/TF2015-6-104
 Dudek, F. J. (1979). The Continuing Misinterpretation of the Standard Error of Measurement. Psychological
Bulletin 86(2), 335-337. doi: 10.1037/0033-2909.86.2.335
 Harvill, L. M. (1991). Standard Error of Measurement. Educational Measurement: Issues and Practice, 10(2),
33–41. doi: 10.1111/j.1745-3992.1991.tb00195.x. Dostupné online:
http://www.csus.edu/indiv/b/brocks/Courses/EDS%20245/Handouts/Standard%20Error%20of%20Measure
ment.ITEM.pdf
Téma 3 (4. 10.): Teorie odpovědi na položku a Raschův model I.
Téma 4 (11. 10.): Teorie odpovědi na položku a Raschův model II.
a) Konceptuální základy IRT a rozdíl oproti CTT.
b) Předpoklady IRT, vlastnosti IRT modelů, velikost vzorku.
c) Stručný přehled IRT modely: RM a 1PL, 2PL, 3PL, RSM, PCM, GPCM, GRM a další.
d) Multifasetový IRT design a podobnost s teorií zobecnitelnosti.
e) Výhody a nevýhody využití IRT při konstrukci testu.
f) Matematická ekvivalence IRT a CTT.
g) Multidimenzionální IRT.
h) Adaptivní testování.
i) Škálování založené na IRT.
j) Linking a equating.
Literatura:
 BOND, s. 29–99
 FURR, 385–411
1
V případě, že nestihneme teorii zobecnitelnosti probrat na tomto setkání, bude přesunuta na úvod setkání třetího.
Téma 5 (18. 10.): Férovost v testování, test a response bias
a) Otázka objektivity a „férovosti“ při psychologickém testování. Vliv etnicity, vzdělání, sociokulturního
prostředí na testové výsledky. Iluze „culture-free“ testu.
b) Možné zdroje nenáhodné chyby měření: response bias, item bias, test bias.
c) Nebezpečí zkreslení podle typu položky/testu.
d) Tendence k souhlasu, styl odpovídání, sociální žádoucnost, sebeznevýhodňování, hádání a tipování.
e) Koncept test bias – metody analýzy v rámci CTT.
f) Test bias a férové testování z hlediska teorie zobecnitelnosti.
g) Diferenciální fungování položek.
h) Standardy pro zajištění férovosti testování. Postupy a řešení různých situací.
i) Přednáška bude doplněna o krátké uvedení do recenzního procesu psychologických testů, které může sloužit
jako vodítko pro napsání první seminární práce.
Literatura:
 HOGAN, s. 230–243.
 FURR, s. 273–328.
Téma 6 (25. 10.): Praktický workshop (IRT analýza)
Obsahem hodiny bude praktická ukázka položkové analýzy v rámci paradigmatu teorie odpovědi na položku (pouze
Raschův model). Na tuto hodinu si doporučujeme přinést (alespoň do dvojice) notebook s nainstalovaným
programem Winsteps, který naleznete ve studijních materiálech, a MS Excel. Nutný je operační systém Windows.
a) Základy práce s programem Winsteps.
b) Nastavení modelu, interpretace parametrů položek a osob, využití grafického znázornění.
c) Úvod do dalších „Rasch based“ analýz (PCA reziduí, DIF analýza, fit modelu).
Doporučená literatura:
 http://www.winsteps.com/winman/ (Návod k programu winsteps).
Téma 7 (1. 11.): Shoda posuzovatelů
Přednáška se zabývá reliabilitou ve smyslu shody posuzovatelů na úrovni kategorických, ordinálních i intervalových
proměnných, a to zejména z hlediska klasické testové teorie. Součástí probírané látky je rovněž shoda hodnotitelů
z hlediska výzkumných designů.
a) Typy ukazatelů shody posuzovatelů podle typu proměnných a účelu.
b) Postupy pro zvyšování shody posuzovatelů.
c) Vztah shody posuzovatelů, validity a objektivity (férovosti) testů.
d) Shoda posuzovatelů ve výzkumných designech.
e) Reportování shody posuzovatelů.
Literatura:
 Hallgren, K. A. (2012). Computing Inter-Rater reliability for observational data: An overview and
Tutorial. Tutorials in Quantitative Methods for Psychology, 8(1), 23–34. doi:10.20982/tqmp.08.1.p023
 Kottner, J., Audige, L., Brorson, S., Donner, A., Gajewski, B. J., Hróbjartsson, A., … Streiner, D. L. (2011).
Guidelines for reporting reliability and agreement studies (GRRAS) were proposed. International Journal of
Nursing Studies, 48(6), 661–671. doi:10.1016/j.ijnurstu.2011.01.016
Téma 8 (8. 11.): Meta-analýza, reproducibility, replicability a důsledky pro výzkum
Toto téma bude pojato diskuzním způsobem. Doporučujeme si proto dopředu přečíst článek Asendorpfa a kol.
(2013) a připravit si postřehy a případné otázky, který poslouží jako podklad pro diskuzi.
a) Úvod do meta-analýzy.
b) Reproducibility a replicability (s ohledem na rozdílné kontexty kvantitativní a kvalitativní metodologie).
c) Institucionální rozměr (psychologického) výzkumu (důsledky výše zmíněných témat pro
vědeckou/výzkumnou praxi).
d) „Replikační krize“ v psychologii.
e) Diskuze o článku Adendorpf a kol.
Povinná literatura:
 Asendorpf, J. B., Conner, M., De Fruyt, F., De Houwer, J., Denissen, J. J. A., Fiedler, ... & Wicherts, J. M.
(2013). Recommendations for Increasing Replicability in Psychology. European Journal of Personality, 27(2),
108–119. doi: 10.1002/per.1919, dostupné on-line: https://www.psychologie.hu-
berlin.de/de/prof/per/pdf/2013/Replicability_target_Peer_commentary.pdf
 Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to Meta-Analysis.
Chichester, UK: John Wiley & Sons. Kapitoly 1 a 2 (s. 3–8 a 9–16).
Doporučená a rozšiřující literatura:
 Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to Meta-Analysis.
Chichester, UK: John Wiley & Sons. Kapitola 43 (377–387).
 Články o replikatelnosti na blogu Babies Learning Language:
http://babieslearninglanguage.blogspot.ie/search/label/Reproducibility
 Blog https://replicationindex.wordpress.com/ , který se replikovatelností přímo zabývá, zejména pak článek
https://replicationindex.wordpress.com/2015/08/13/replicability-ranking-of-26-psychology-journals/ .
 Open Science Collaboration (2015). Estimating the reproducibility of psychological science.
Science 349(6251), aac4716-1–8. doi: 10.1126/science.aac4716. Dostupné online:
http://www.psykologforbundet.se/Documents/Psykologtidningen/Aktuellt%20Pdf/Science%20aug%202015.pdf
Téma 9 (15. 11.): Mixed-methods research I. – základní pojmy
Téma 10 (22. 11.): Mixed-methods research II. – validita a důvěryhodnost
Téma 11 (29. 11.): Mixed methods research III. – rámce interpretace a generalizace
Témata 9 až 11 budou věnována možnostem kombinování kvalitativních a kvantitativních paradigmat v aplikovaném
psychologickém výzkumu – od stavění výzkumné otázky přes metody tvorby vzorků, získávání dat, racionální
plánování analýzy k interpretaci. Zvláštní pozornost bude věnována možnostem zajištění validity a spolehlivosti
výzkumných plánů „na pomezí“ kvalitativního a kvantitativního světa.
Literatura (doporučujeme prolistovat alespoň jednu z následujících knih):
 Forrester, M. (2010). Doing Qualitative Research in Psychology: A Practical Guide. Los Angeles: Sage.
 Howitt, D. (2010). Introduction to Qualitative Methods in Psychology. Harlow: Pearson Education Ltd.
 Ridenour, C. S., Newman, I. (2008). Mixed Methods Research. Exploring the Interactive Continuum.
Carbondale: Southern Illinois University Press.
 Todd, Z., Nerlich, B., McKeown, S., Clarke, D. D. (2004). Mixing Methods in Psychology. The Integration of
Qualitative and Quantitative Methods in Theory and Practice. Hove: Psychology Press.
Téma 12 (6. 12.): Epistemologie I. – úvod, vědecké vysvětlení
Modely vědeckého vysvětlení: deduktivně-nomologický, statistický, unifikacionistický.
Téma 13 (13. 12.): Epistemologie II. – filozofie vědy a její uplatnění v psychologii
Realismus, konstruktivismus (logický pozitivismus, sociální konstruktivismus, instrumentalismus).
Literatura:
 Bem, S., & Looren de Jong, H. (2006). Theoretical Issues in Psychology. London: SAGE. Strany 1-116. Povinná
četba: s. 56-116 (kapitoly 3-4).
 Woodward, J. (2014). Scientific Explanation. In Edward N. Zalta (ed.), The Stanford Encyclopedia of
Philosophy. http://plato.stanford.edu/archives/win2014/entries/scientific-explanation. Povinná četba:
sekce 1, 2, 3 a 5 (úvod, DN model, SR model, unifikacionistický model).
 Borsboom, D. (2005). Measuring the Mind. Cambridge: Cambridge University Press. Strany 1-9, 49-84.
Povinná četba: s. 5-9 (podkapitola o filozofii vědy).
 Chakravartty, A. (2015). Scientific Realism. In Edward N. Zalta (ed.), The Stanford Encyclopedia of Philosophy.
http://plato.stanford.edu/archives/fall2015/entries/scientific-realism
 Monton, B., & Mohler, C. (2014). Constructive Empiricism. In Edward N. Zalta (ed.), The Stanford
Encyclopedia of Philosophy. http://plato.stanford.edu/archives/spr2014/entries/constructive-empiricism
 Chang, H. (2009). Operationalism. In Edward N. Zalta (ed.), The Stanford Encyclopedia of Philosophy.
http://plato.stanford.edu/archives/fall2009/entries/operationalism
Literatura
Následující seznam poskytuje přehled hlavních informačních zdrojů. Podrobnosti a rozsah stran jsou uvedeny
u jednotlivých setkání, kde je k dispozici též přehled rozšiřující a doplňkové literatury.
 Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ : John Wiley & Sons.
Strany 3–246. [HOGAN] (Pozn.: Zbytek učebnice je povinnou literaturou v kurzu Psychodiagnostika dospělých.)
 Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. [FURR]
 Bond, T. G., & Fox, C. M. (2007). Applying The Rasch Model : Fundamental Measurement in the Human
Sciences (2 ed). Mahwaw (NJ): Lawrence Erlbaum Associates. [BOND]
(Pozn.: První vydání lze stáhnout z internetu a na rozdíl od druhého vydání obsahuje velmi zajímavou předmluvu.)
 Urbánek, T., Denglerová, D., & Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál
(Pozn.: Předpokládáme znalost z bakalářského stupně studia.)
 Jedna vybraná kniha ze sekce „mixed-methods research“, viz výše.
 Asendorpf, J. B., Conner, M., De Fruyt, F., De Houwer, J., Denissen, J. J. A., Fiedler, ... & Wicherts, J. M.
(2013). Recommendations for Increasing Replicability in Psychology. European Journal of Personality, 27(2),
108–119. doi: 10.1002/per.1919, dostupné on-line: https://www.psychologie.hu-
berlin.de/de/prof/per/pdf/2013/Replicability_target_Peer_commentary.pdf
 Hallgren, K. A. (2012). Computing Inter-Rater reliability for observational data: An overview and
Tutorial. Tutorials in Quantitative Methods for Psychology, 8(1), 23–34. doi:10.20982/tqmp.08.1.p023
Literatura k seminární práci
 Evers, A., Muñiz, J., Hagemeister, C., Hstmælingen, A., Lindley, P., Sjöberg, A., & Bartram, D. (2013).
Assessing the quality of tests: Revision of the efpa review model. Psicothema 25(3), 293-291. doi:
10.7334/psicothema2013.97
 http://efpa.eu/professional-development/assessment
Požadavky na ukončení kurzu
Průběžné písemné testy
V průběhu semestru budou během přednášek administrovány tři krátké písemné testy (cca 10 minut) v termínech
zadaných sylabem. Každý test je hodnocen 0–10 body. Do výsledného hodnocení se počítají dva nejlepší pokusy,
náhradní termíny nebudou vypsány.
Seminární práce
Student odevzdá jednu seminární práce hodnocenou 0–20 body. Práce je individuální a lze ji jedenkrát opravit
v případě zisku 10 a méně bodů; za opravenou práci je možné získat maximálně 14 bodů (při shodných hodnotících
kritériích). Zadání je uvedeno níže.
Zkouška
Přístup ke zkoušce je podmíněn ziskem alespoň 10 bodů z lepších dvou testů a současně alespoň 10 bodů ze
seminární práce.
Zkouška se skládá ze dvou částí: první je písemná (max. 20 bodů), druhá je ústní (max. 10 bodů). Předpokladem
přístupu k ústní zkoušce je minimálně 10 bodů z písemné části zkoušky. V případě, že je ústní část zkoušky
hodnocena 0 body, obdrží student známku F nehledě na celkový počet bodů. Opakovat pouze ústní část zkoušky není
možné, nutné je opakovat zkoušku jako celek.
Závěrečné hodnocení
Maximální počet bodů je 2*10 (testy) +20 (SP) +20 (písemná zk.) +10 (ústní zk.) = 70 bodů
A 64–70
B 57–63
C 50–56
D 43–49
E 35–42
F 34 a méně, nebo 0 bodů na ústní část zkoušky
Zadání seminární práce: Recenze diagnostické metody
Student si zvolí a zrecenzuje vybranou diagnostickou metodu, přičemž se bude držet struktury recenze v Burosově
ročence (k zapůjčení v kanc. 2.47); může využít i kritérií podle modelu EFPA. Cílem je popsat účel metody, zhodnotit
její kvality a nedostatky (teorii, psychometrické aspekty, praktičnost), existující doklady o těchto kvalitách a zamyslet
se nad možnostmi a mezemi praktického využití metody včetně závěrečného doporučení k používání metody
v psychologické praxi. K tomuto účelu lze vybírat metody z Kabinetu diagnostických metod (doporučujeme se
vyhnout „velkým“ metodám), způsob volby bude upřesněn na přednášce – při pochybnostech s výběrem konkrétní
metody se obraťte na vyučující. Metody, jejichž recenze již byla dříve publikována v časopise Testfórum, je možno
zvolit si výhradně po konzultaci s vyučujícím. Doporučení pro recenzování viz též v Hoganovi (s. 605–610) či Evers a
kol. (2013).
Doporučujeme využít model recenze dle EFPA (např. http://testforum.cz/dokumenty/manual-recenze-efpa.dotx,
česky), vyplnit si jej a na jeho základě pak napsat recenzní posudek v podobě souvislého textu (samotný formulář se
odevzdává, ale není hodnocen). Kvalitní práce mohou být po případné úpravě a se souhlasem studenta publikovány
v časopise Testfórum.
Doporučujeme nevycházet pouze z informací obsažených v metodě samotné (tedy zejm. v jejím manuálu). Bez
rešerše dalších zdrojů (články, diplomové práce atp.) není možní získat plný počet bodů. Ve výsledném hodnocení
odlište, které informace pocházejí z kterých zdrojů.
Rozsah: Do 5 normostran (doporučujeme zachovat stručnost a věcnou významnost).
Seznam metod: Lze vybírat ze seznamu http://bit.ly/1Qwtjmg, jednu metodu si mohou vybrat nejvýše dva studenti.
Jinou metodu je možné recenzovat po předchozí domluvě.
Způsob odevzdání: Práci vložte do příslušné složky v odevzdávárně ve formátu jménopříjmení_recenze (vlastní
práce) a jménopříjmení_formulář (formulář dle EFPA). Doporučujeme použít katedrovou šablonu na seminární práce,
viz např. http://psych.fss.muni.cz/files/titulni_strana.docx.
Termín odevzdání: 22. listopad 2016.
Hodnocení: Práce je hodnocena 0–20 body. V případě zisku 10 a méně bodů je možné text jedenkrát přepracovat,
přičemž je na druhý pokus možné získat nejvíce 14 bodů.