Máte zapnutý náhled celé osnovy, zpět na běžné zobrazení.
Načítání a prohlížení osnovy může být v závislosti na množství obsahu pomalejší.
Mgr. Hynek Cígler, Ph.D.
Základy psychometriky
Mgr. Hynek Cígler, Ph.D.
Základy psychometriky
Charakteristika kurzu
Psychometrika je aplikovanou vědní disciplínou na pomezí psychologie a matematické statistiky. Zaměřuje se na vývoj teorií měření člověka, propojení pozorovaného lidského chování a teoretických psychologických konstruktů. Je úzce spjatá s vývojem nejrůznějších psychologických teorií; bez její pomoci by nemohla být realizovaná značná část psychologického výzkumu. Její poznatky však využívají i psychologové v praxi; bez základních psychometrických znalostí a dovedností není možné zodpovědně realizovat psychologickou diagnostiku, která tvoří součást většiny praktických psychologických profesí.
Kurz vás proto seznámí se základy oboru, které vám poslouží pro další rozvoj vašich znalostí a dovedností jak v oblastech psychologické praxe (zejména diagnostické), tak i ve výzkumu či interpretaci výzkumných studií. Představíme vám základní psychometrické koncepty, naučíme vás, jak posoudit kvalitu psychodiagnostických nástrojů, jak takové nástroje vyvíjet a jak pracovat s chybou měření.
Podrobné informace najdete v Interaktivní osnově v první záložce Sylabus.
Pro běžné otázky ke kurzu, komunikaci s vyučujícími a podobně využívejte předmětové diskuzní fórum. V něm budou též zveřejňovány veškeré hromadné pokyny ke kurzu, doporučujeme proto nastavit si zasílání e-mailových notifikací.
Obecné informace o kurzu, podmínky ukončení a podobně.
Učitel doporučuje studovat od 13. 2. 2023 do 26. 2. 2023.
Učitel doporučuje studovat od 13. 2. 2023 do 26. 2. 2023.
Učitel doporučuje studovat od 27. 2. 2023 do 12. 3. 2023.
26. února
Seminární práce (termín 1): Volba tématu
Do 26. února je nutné být přihlášen k tématu seminární práce. Jeden student/ka z týmu vytvoří téma v rozpisu seminárních prací, vyplní jeho anotaci a přihlásí ostatní studenty (ti se mohou k tématům hlásit i sami). Tím je založena i odevzdávárna, do které můžete vkládat veškeré materiály související s tématem.
V anotaci popište konstrukt, který plánujete měřit, a zkuste stručně navrhnout základní podobu měřicího nástroje. Nic z toho není závazné, vše bude možné ještě měnit.
POZOR! Nevyplňujte "role" u tématu. Všichni studenti musí být přihlášeni jako "studenti". Vedoucím tématu je příslušný vyučující (bude přidělen garantem kurzu). V případě problémů nás prosím kontaktujte, nejlépe v Diskuzním fóru.
Seminární práce
Počet zveřejněných témat: 17
Přihlašuje se: do 1. 3. 2023 vč.
Nejste přihlášen na žádné téma.
Učitel doporučuje studovat od 27. 2. 2023 do 12. 3. 2023.
7.–12. 3.
Průběžný test 1
Témata prvních dvou přednášek a prvních dvou seminářů.
- Praktický úkol: práce s chybou měření.
- Teorie: Uvedení do kurzu, tvorba položek, reliabilita.
-
Průběžný test 3: zpětná vazba
Učitel doporučuje studovat od 13. 3. 2023 do 26. 3. 2023.
Učitel doporučuje studovat od 13. 3. 2023 do 26. 3. 2023.
Učitel doporučuje studovat od 27. 3. 2023 do 16. 4. 2023.
27. března
Seminární práce (termín 2): První část práce (teorie)
Nejzazší termín pro odevzdání první části seminární práce, která bude obsahovat:
- Celou kapitolo Úvod.
- Část kapitoly Metoda: konkrétně přinejmenším návrh tvorby vzorku,
odhad jeho velikosti, způsoby ověření
validity/reliability, očekávaný počet položek.
- Příklady již vytvořených položek.
Celý text a veškeré materiály vložte do odevzdávárny vašeho týmu.
Učitel doporučuje studovat od 27. 3. 2023 do 16. 4. 2023.
28. 3. – 2. 4.
Písemný test 2
Témata ze 3. přednášky a 3. semináře
- Teorie: Validita
- Praktický úkol: Položková analýza
Učitel doporučuje studovat od 17. 4. 2023 do 23. 4. 2023.
17. 4.
Seminární práce (termín 3): Schválení sběru dat
K tomuto termínu je nezbytné mít připravené veškeré podklady pro zahájení sběru dat schválené konzultantem seminární práce. Tedy zejména informovaný souhlas a konkrétní seznam položek k administraci.
18.–23. 4.
Písemný test 3
Témata 4. a 5. přednášky a 4. semináře
- Teorie: Faktorová analýza, normy.
- Praktický úkol: Explorační a konfirmační faktorová analýza.
Učitel doporučuje studovat od 24. 4. 2023 do 30. 4. 2023.
8. 5.
Seminární práce (termín 4): Odevzdání finální verze
Odevzdání finální verze práce (do samostatného souboru, nemažte předchozí verzi). Kromě samotného textu odevzdejte (pokud se tak již nestalo dříve) rovněž i plné znění metody a informované souhlasy, odkaz na dotazník (byla-li data sbírána přes internet), plnou datovou matici, analytické skripty (R, Jamovi, JASP) a cokoli dalšího.
Sylabus (podrobné informace o kurzu)
Charakteristika kurzu
Psychometrika je aplikovanou vědní disciplínou na pomezí psychologie a matematické statistiky. Zaměřuje se na vývoj teorií měření člověka, propojení pozorovaného lidského chování a teoretických psychologických konstruktů. Je úzce spjatá s vývojem nejrůznějších psychologických teorií; bez její pomoci by nemohla být realizovaná značná část psychologického výzkumu. Její poznatky však využívají i psychologové v praxi; bez základních psychometrických znalostí a dovedností není možné zodpovědně realizovat psychologickou diagnostiku, která tvoří součást většiny praktických psychologických profesí.
Kurz vás proto seznámí se základy oboru, které vám poslouží pro další rozvoj vašich znalostí a dovedností jak v oblastech psychologické praxe (zejména diagnostické), tak i ve výzkumu či interpretaci výzkumných studií. Představíme vám základní psychometrické koncepty, naučíme vás, jak posoudit kvalitu psychodiagnostických nástrojů, jak takové nástroje vyvíjet a jak pracovat s chybou měření.
Kurz je založen na šesti přednáškách, které vám poskytnou základní rámec pro propojení jednotlivých teoretických oblastí, doplněných o čtyři praktické semináře, na kterých se naučíte prakticky realizovat dílčí výpočty důležité pro diagnostickou praxi, stejně jako analýzy nezbytné pro výzkum a interpretaci jeho výsledků. Podstatná část kurzu je ovšem založena na samostudiu povinné a doporučené literatury. Informace předané na přednáškách nepokryjí celý obsah učiva, a proto bude ověřována i znalost obsahu z literatury, kterou během přímé výuky nestihneme probrat.
Literatura, povinné a doporučené zdroje
Povinná literatura bude uvedena vždy u každé přednášky; její znalost je předpokladem úspěšného ukončení kurzu. Uvádíme rovněž i rozšiřující literaturu, která může zájemcům poskytnout podrobnější pochopení jednotlivých témat, a pomoci jim při realizaci pokročilejších projektů v rámci kurzu.
V seznamu literatury u každého tématu používáme následující zkratky:
- FURR: Furr, R. M. (2018). Psychometrics : An Introduction. Los Angeles: Sage.
Hlavní studijní zdroj pokrývající většinu obsahu celého kurzu. Pozor: na FSS je dostupné i starší vydání z roku 2014, kde je spoluautorem i Bacharach. Obsah a stránkování se může drobně lišit, orientujte se podle názvů kapitol a logických celků! - SCHULTZ: Schultz, K. S., Whitney, D. J., & Zickar, M. J. (2014). Measurement Theory in Action: Case Studies and Excercises (2 ed.). New York: Routledge.
Rozšiřující zdroj pro oblast faktorové analýzy. - HOG: Hogan, T. P. (2014). Psychological testing: a practical introduction (3rd ed). Hoboken: John Wiley.
Rozšiřující zdroj pro oblast norem. - URB: Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál.
Zdroj v češtině. Doporučujeme jej jako doplňkovou literaturu; primární zdroje jsou ty uvedené výše.
Prerekvizity a předpokládané znalosti
Tento kurz nemá prerekvizity. Důrazně však doporučujeme jeho zápis ve stejném semestru jako PSYb2550: Psychologie individuálních rozdílů. Oba kurzy jsou nedílně propojeny a jejich současné absolvování vám poskytne řadu výhod.
Kromě toho předpokládáme základní znalosti psychologické metodologie (PSYb1120, Metodologie psychologického výzkumu) a znalosti z obou předchozích statistických předmětů (PSYb1170: Statistická analýza dat; PSYb2520, Statistická analýza dat II). Kurz si mohou zapsat i studenti dvouoborové psychologie bez znalosti navazující statistiky; je však nutné počítat s tím, že některé koncepty mohou být náročnější na povolení. Studenti jiných oborů si mohou kurz zapsat na základě výjimky, kterou v naprosté většině případů udělujeme.
Naopak kurz Základy psychometriky není prerekvizitou pro žádné jiné předměty v bakalářském studiu; vychází z nich však kurz navazujícího magisterského studia PSYn4790 Psychometrika: Měření v psychologii. Zápis tohoto kurzu PSYb2590 proto doporučujeme i magisterským studentům, kteří bakalářskou psychometriku na FSS MU dosud neabsolvovali; podle dřívějších zkušeností může být zvládnutí PSYn4790 bez předchozích zkušeností velmi náročné.
Vyučující
Přednášející a garant kurzu: Hynek Cígler (hynek.cigler@mail.muni.cz)
Cvičící seminárních skupin:
- Seminární skupina 01 (liché týdny, 12:00): Hynek Cígler (hynek.cigler@mail.muni.cz)
Konzultační hodiny: pondělí od 14:00 (ideálně po semináři). - Seminární skupina 02 (sudé týdny, 10:00): Petr Palíšek (petr.palisek@fss.muni.cz)
- Seminární skupina 03 (liché týdny, 12:00): Petra Hubatková (petra.hubatkova@mail.muni.cz)
Dále v kurzu působí Tomáš Kratochvíl (kratochvilt@mail.muni.cz), Jakub Brojáč (brojac@mail.muni.cz) a Karel Rečka (reckak@mail.muni.cz), kteří povedou týmy při přípravě seminárních prací a tyto práce budou hodnotit.
Požadavky na ukončení kurzu
Hodnocení testu je založena na průběžných testech, seminární práci a závěrečná zkoušce, která se skládá z ústní a písemné části. Pro úspěšné absolvování kurzu je dále nezbytné mít dostatečnou účast na seminářích.
1. Průběžné testy
V průběhu semestru budou vypsány celkem tři krátké testy, obsahujících vždy otázky s otevřenou odpovědí, zadání pro analýzy a výpočty apod. Tyto testy budou zaměřeny na porozumění literatuře a na praktickou dovednost při provádění analýz.
Testy budou tzv. "open-book", bude tedy možné při jejich řešení možné využívat libovolnou literaturu. Test si můžete otevřít kdykoli z domova ve zvoleném týdnu (úterý–neděle), administrace i odpovídání bude probíhat v IS MU. Pozor: každý test půjde otevřít maximálně jedenkrát, následně bude běžet lhůta pro jeho vypracování (zpravidla 30–60 minut). Testy budou opraveny zpravidla do 7 dnů po termínu odevzdání (v minulosti docházelo k drobným zpožděním, za která se předem omlouváme :-).
Každý z průběžných testů bude hodnocen 10 body, celkem je tedy možné získat maximálně 3×10 = 30 bodů. Podmínkou připuštění ke zkoušce je zisk alespoň 16 bodů ze všech testů dohromady; při zisku 15 a méně bodů bude kurz hodnocen známkou "X".
Testy není možné opravit! V případě závažných (zdravotních či jiných důvodů) budeme výjimky řešit individuální formou; zavčas nás v takovém případě kontaktujte. V případě, že kurz opakujete, je nutné absolvovat průběžné testy znovu.
Podrobné pokyny k průběžným testům
S formátem open-book testů se dost možná setkáváte poprvé. V každém případě jsou značně odlišné ve srovnání s běžnými znalostními testy. Věnujte proto prosím pozornost pokynům k vyplňování průběžných testů uvedených na konci této stránky!
2. Skupinová seminární práce
Práce je hodnocena maximálně 30 body a není stanovena minimální hranice pro úspěšné absolvování. Práci není možné přepracovat, zpětná vazba bude poskytnuta zpravidla ústně během domluvených termínů. Seminární práce bude podrobně zadána prvním setkání.
APA šablona
Šablona výzkumného článku v APA formátu, kterou můžete využít pro přípravu vaší seminární práce.
Seminární práce
Počet zveřejněných témat: 17
Přihlašuje se: do 1. 3. 2023 vč.
Nejste přihlášen na žádné téma.
Opakování kurzu
V případě, že kurz opakujete, je možné požádat o uznání bodů ze seminární práce z minulého roku (počet bodů bude upraven se zřetelem na případné změny maximální bodové hranice). V takovém případě napište garantovi kurzu.
Body z průběžných testů a další povinnosti uznávány nebudou.
3. Závěrečná zkouška
Závěrečná zkouška se skládá z písemné a ústní části. Při nedosažení minimálního počtu bodu v kterékoli z částí student/ka obdrží hodnocení F a je nezbytné opakovat obě části zkoušky.
3a. Písemná část závěrečné zkoušky
V závěru semestru budou vypsány termíny písemného znalostního testu. Ten bude trvat zhruba 60−90 minut a jejich vyplnění proběhne v počítačové učebně prezenčně na FSS. Písemný test bude hodnocen 0−30 body, pro úspěšné absolvování kurzu a umožnění přístupu k ústní části zkoušky je nutné získat alespoň 16 bodů. Při zisku 15 a méně bodů je uděleno hodnocení F a test je nutné přepracovat v opravném termínu.
3b. Ústní část závěrečné zkoušky
Závěrečná ústní zkouška má podobu konzultace a rozhovoru nad obsahem kurzu; její součástí bude jedna vylosovaná otázka na základní témata probíraná v rámci kurzu. Pro její úspěšné zvládnutí je nezbytná schopnost diskutovat nad vlastnostmi psychologických testů a jednotlivými psychometrickými koncepty, stejně jako základní znalosti psychometrických pojmů a teorií, které jsou pro takovou diskuzi nezbytné. Doba trvání zkoušky bude zpravidla 5−10 minut.
Ústní zkouška je hodnocena 0−10 body, případně hodnocením "nedostatečně", pokud celkový výkon studenta/studentky neodpovídá požadavkům na ukončení kurzu. V případě hodnocení "nedostatečně" je udělena známka "F" a je nutné opakovat písemnou i ústní část zkoušky. Stejně tak, pokud student/ka nezíská minimální potřebný počet bodů pro úspěšné absolvování kurzu, je rovněž uděleno hodnocení "F" a je nutné obě části opakovat.
4. Účast na seminářích
Vyžadována je běžná 80% účast na seminářích (v případě potřeby lze výjimečně navštívit jinou seminární skupinu). V případě výrazné neomluvené neúčasti bude uděleno neúspěšné hodnocení "−".
Výsledné hodnocení
V kurzu je tedy možné získat maximálně 3×10 + 30 + 30 + 10 = 100 bodů. Závěrečná známka je udělena podle následujícího klíče:
A | B | C | D | E | F | X |
100–91 b. | 90–81 b. | 80–71 b. | 70–61 b. | 60–51 b.
| 50 b. a méně Dílčí neúspěch u závěrečné zkoušky | 15 b. a méně z průběžných testů |
Další informace a pokyny
Pokyny k vyplňování průběžných "open-book" testů
Formát testů open-book, navíc zodpovídaných z domova, může být i po dvou letech epidemie covid-19 stále poněkud nezvyklý. Chceme proto vyjasnit některé otázky s tím spojené.
Sdílení položek testů
Základní předpoklad těchto testů je stejný, jako u veškerých jiných studijních povinností: tedy že každý student či studentka vypracovává odpovědi na test sám za sebe, bez pomoci svých spolužáků, a ani jim žádným neférovým způsobem nepomáhá. V tomto případě jde zejména o předpoklad, že nebudou v žádném případě sdíleny vypracované odpovědi na testové položky; nikdo je nebude poskytovat a nikdo je nebude ani poptávat.
Stejně tak nebude sdíleno zadání položek ostatním spolužákům, kteří test ještě neabsolvovali. Test má omezený časový limit, jehož cílem je skutečně zajistit, abyste byli připraveni před začátkem testu. Bez časového limitu by každá z položek byla na jednu stranu poměrně jednoduchá (protože s dostatkem času by šla zodpovědět dokonale), na druhou stranu by to vedlo k vaší neúměrné zátěži; dovedeme si představit, že by někteří z vás test vypracovávali několik večerů. Sdílením testového zadání je toto opatření obcházeno nehledě na to, že vaši spolužáci mohou vaše odpovědi využít ve svých vlastních odpovědích, a tím vás zpětně poškodit (hodnocení je vždy chtě nechtě do jisté míry relativní a výsledek každé studenta závisí na výsledku ostatních studujících, se kterými je částečně srovnáván).
Málo času na testy?
Pokud se domníváte, že je na testy malé množství času, nebojte se ozvat. Můžeme manipulovat jak s délkou testu, tak i s potřebným časem na odpovídání tak, aby byl času dostatek.
Pozor! Na různé testy je rozdílná časová dotace! Věnujte pozornost vždy příslušným odpovědníkům.
Jiné formy spolupráce
Sdílení výpisků, vzájemné diskuze nad tématy a podobně jsou samozřejmě nedílnou součástí studia a jsou vlastně žádoucí. Na druhou stranu platí, že stejně jako v jako jiných kurzech nebo jako v případě státních zkoušek nedoporučujeme studovat přímo z cizích výpisků - např. u státnic je většinou hned poznat, kdo se učil z vlastních zdrojů, a kdo pro přípravu využil cizí výpisky. Znalosti získané z výpisků bez studia prvotní literatury jsou prostě jiné, slabší, méně "hutné".
Studium z výpisků však nelze pochopitelně zakázat. Přesto však není vhodné výpisky použít pro vypracování testu; doporučuji vždy využít primární literaturu, učebnice či jiné zdroje.
Rovněž na vás apelujeme, abyste testy nevypracovávali společně, jakkoli to může na první pohled vypadat lákavě.
Formát výpisků
Pokud už výpisky sdílíte, věnujte pozornost jejich formátu. Lepší než nějaký bodový seznam pojmů, termínů či definic je většinou vhodnější provést "rešerši"; tj. vystihnout význam a smysl zdroje souvislým textem. Jinými slovy, přeformulujte zdroj do vlastního textu.
Obecně jsou rešerše doporučovanou formu výpisků. Já osobně jsem výpiskům nikdy nepřišel na chuť, nicméně někteří lidé (vypůjčuji si příklad Jakuba Macka z katedry žurnalistiky a mediálních studií) si rešeršují odborné texty, které čtou, a vytvářejí si jejich databázi. Bodové výpisky však zřejmě fungují hůře než zmíněné rešerše.
PS.: Kvalita studia z výpisků vs. z primární literatury nás výzkumně zajímá. Standa Ježek to dlouhodobě zkouší udat jako téma bakalářské práce – pokud máte zájem, neváhejte ho kontaktovat! ;)
Práce se zdroji
Při práci s testem ve formátu open-book můžete využívat libovolné zdroje a kombinovat je s vašimi znalostmi. Pokud se však rozhodnete využít konkrétní informaci z konkrétního zdroje, citujte ji. Není nutné striktně dodržovat APA formát, musí však být jasné, odkud čerpáte, pokud to není evidentní. Stejně, jako u jiných textů a prací, nedoporučujeme používat doslovné citace. Pokud se však přesto rozhodnete citovat některý ze zdrojů doslova, používejte důsledně uvozovky; vyhnete se tím řadě problémů. Stejně jako v jiných pracích, i zde však jde o nepreferovanou variantu. Parafráze jsou lepší!
Ovšem i v případě parafrázování uvádějte zdroj; pokud jde o zdroj z povinné literatury či jiného "známého" zdroje, stačí jen citace v textu; u jiných pramenů pak zdroj odkažte, ať už v APA formátu, nebo alespoň hypertextovým odkazem. V žádné případě však nepoužívejte jako zdroj přímo výpisky a už vůbec ne pro doslovné citace. Můžete však výpisky použít pro rychlejší navigaci na zdroj, z něhož výpisky pocházejí.
Citování je důležité kvůli případné podobnosti obsahu, formulaci a struktuře informací. Pokud odpověď prostě "víte" nebo si nějaká fakta "pamatujete", zdroj samozřejmě dohledávat nemusíte, stačí jednoduše odpovědět (předpokládá se, že necitované odpovědi jsou z vaší hlavy).
Dejte si pozor na kvalitu zdrojů. Není žádoucí využívat jako zdroj např. Wikipedii, není to však ani zakázáno. Pokud takový zdroj přesto využijete, citujte jej.
Co všechno citovat?
Pokud je zadání otázky ve smyslu "Co si myslí Franta (Kocourek, 1967) o používání hantecu v odborné literatuře", citovat nemusíte, protože je evidentní, že vycházíte z Kocourka (1967).
Pokud je ale zadání otázky "Lze používat hantec v odborné literatuře", pak je citovat dobré, protože nemusí být jasné, zda vycházíte z Kocourka (1967) nebo Hlaváčka (2015).
Pokud sami nevíte, odkud vycházíte, a odpověď "prostě znáte", nebo uvádíte nějakou obecně známou věc, pak je citace rovněž zbytečná. V takovém případě rozhodně žádný arbitrární zdroj dohledávat nemusíte!
Využívání prezentací a nahrávek
Dejte si pozor na využívání prezentací, nahrávek a obdobných studijních zdrojů, a zejména pak při doslovném citování. Obecně to není žádoucí, navíc je pravděpodobné, že stejný kus prezentace využije některý z vašich spolužáků, a vaše odpovědi tak budou nápadně podobné.
Pokud se přesto rozhodnete pro využití informace přímo z prezentace, stačí citovat třeba jako jako "prezentace (téma)" ;-)
Rozsah odpovědí
Každá z otázek v průběžných textech obsahuje limit rozsahu odpovědi v podobě maximálního počtu znaků. Lze však odevzdat test s překročeným rozsahem; hlavním cílem rozsahu je poskytnout vodítko, jak rozsáhlá má být vaše odpověď, a kromě toho i omezit délky odpovědí, aby bylo možné je ve smysluplném čase přečíst a obodovat.
Pokud je tedy limit např. 1500 znaků, pak 300znaková odpověď bude zřejmě příliš krátká, naopak odpověď na 3000 znaků je zbytečně rozsáhlá. Perfektní, skvělá odpověď se bude pohybovat kolem maximální rozsahu. Je zároveň evidentní, že případné citace a uvádění zdrojů text mírně "nafoukne", v případě rozsáhlejšího využívání zdrojů lze tedy očekávat přiměřené přesáhnutí maximálního počtu znaků.
Práce s nejistotou
Při odpovídání na průběžné testy se zcela jistě vyskytnou informace, kdy si nebudete jistý/jistá správností své odpovědi; to je naprosto přirozené a jde o nedílnou součást jakékoli akademické činnosti.
V takovém případě adekvátně pracujte s nejistotou. Napsat "nejsem si jistý, ale domnívám se, že..." je mnohem lepší než poskytnout jednoznačný a ne 100% přesný závěr. Na druhou stranu, pokud podobný styl využijete u všech informací, které ve vašem textu zazní, tak asi svým vyjádřením nejistoty uberete trochu na významnosti ;-)
Hodnocení a posouzení správnosti
Hodnocení úzce souvisí s rozsahem odpovědi. V rozsáhlejším textu máte sice větší pravděpodobnost, že vyjmenujete vše podstatné, zároveň se ale vystavujete zvýšenému riziku, že zmíníte něco, co je evidentní nesmysl. Většina otázek v open-book testech nemá jedinou správnou odpověď, zpravidla lze zvolit více různých formátů odpovědi a dílčích informací, které povedou k zisku stejného počtu bodů. V každém případě je však hodnocení založeno na vyvážení "plusových bodů" za zajímavé informace a úvahy, a "mínusových bodů" za mylné informace a jednoznačně chybné úvahy.
V ideálním případě by tedy v perfektní odpovědi měly zaznít všechny důležité informace a myšlenky, odpověď by měla pracovat s nejistotou a případné nepřesnosti by měly být studentem reflektovány, a odpověď by naopak neměla obsahovat žádné zjevné nedostatky.
Máte jakékoli otázky?
I přes výše uvedený text vám nemusí být jasné, jak s tímto formátem testu pracovat. Proto pokud jste schopní případný dotaz konkrétně zformulovat , neváhejte se zeptat během výuky, v diskuzním fóru a nebo soukromě e-mailem.
Tipy a doporučení k seminární práci
Standa Ježek vypracoval sérii kroků, které je dobré projít pro vypracování kvalitní seminární práce. Následující seznam lze využít jako check-list, abyste na nic nezapomněli.
Ne všechny body je nicméně potřeba zahrnout, pro určité typy prací naopak bude potřeba využít i jiné postupy. Berte následující seznam jen jako doporučení, které není nijak závazné.
- Teorie: co to (váš měřený konstrukt) je , s čím to souvisí, jak se k jeho měření již přistupovalo apod.
Dále také účel vaší metody, cílová populace, populace pro pilotáž (může, ale nemusí být totožná). - Fasety: jak se to projevuje a za jakých různých okolností se to projevuje.
- Vymýšlení typů položek v duchu nekritického brainstormingu – všemožné typy úkolů (výkon, chování) a otázek (self-report) na všechny fasety.
- Vymýšlení více položek typů, které se vám zdají nadějné. Názor na "nadějnost" může vyjádřit i zástupce populace, pro kterou metodu vytváříte, neváhejte se o tom pobavit s někým z cílové populace.
- Sestavení pilotní verze metody. Buďte k položkám kritičtí, klaďte důraz na obsahovou validitu (aby se na nějaký projev nezapomnělo, aby to nebylo jen o jednom, dvou možných projevech). Vyvažujte mezi pokrytím všeho a únosnou zátěží pro měřenou osobu (v našem motivačním kontextu bychom těžko zdůvodnili větší zátěž než na asi 30 minut, spíše mnohem méně).
- Kognitivní interview: s několika jednotlivci různou formou vychytat největší chyb položek/úkolů – neporozumění, špatné porozumění, neschopnost odpovědět, přílišná náročnost apod. Následně položky upravte.
- Vlastní pilotáž: vedle první verze metody naplánujeme získání alespoň jedné další proměnné, která by mohla poskytnout info o empirické validitě (může jít o jinou metodu, demografický údaj atp.). Vzorek reálně nebude ani velký ani reprezentativní, ale lze aspirovat na to, aby v něm byli zastoupeni lidé, kteří mají s velkou pravděpodobností velmi nízkou i velmi vysokou míru našeho konstruktu. Lze uvažovat i o tom, že využijete službu, kterou Hynek nabízel, kdy vám z málo dat naklonuje větší množství dat – to usnadní analýzy, ale značně zvýší "umělost" celé analýzy.
- Analýza dat: Položková analýza, faktorová analýza, vztah s kritériem. Až zde má smysl něco počítat.
- Diskuze, závěry: Popište, co by se na metodě na základě analýz mělo změnit. Můžete to rovnou i změnit a předložit upravenou verzi, ale k práci přiložte zejména tu verzi, která byla administrována pilotnímu vzorku.
APA šablona
Šablona výzkumného článku v APA formátu, kterou můžete využít pro přípravu vaší seminární práce.
Seminární práce
Počet zveřejněných témat: 17
Přihlašuje se: do 1. 3. 2023 vč.
Nejste přihlášen na žádné téma.
Přednáška 1: Úvod do psychometriky | 13. 2. 2023
Přednáška poskytne základní rámec k uvažování o měření
v psychologii. Představíme vám základní historické milníky ve vývoji měření
psychických jevů, důležitost existence teorie či modelu měření. Budeme ilustrovat způsoby využití psychometriky v rámci psychologické praxe, a to
v teoretickém i aplikovaném výzkumu. Stručně představíme rovněž i základní
psychometrické pojmy: validitu, reliabilitu, objektivitu, standardizaci
a normy. Stručně nastíníme koncept psychologického škálování, typy
položek a škál.
Součástí prvního setkání je i podrobný popis organizace celého kurzu, vysvětlení hodnocení a požadavků na jeho ukončení.
Klíčová témata
- Cíle a podstata psychometriky jako vědní disciplíny.
- Stručná historie psychometriky a psychologické diagnostiky.
- Epistemologická východiska psychometriky, operacionalismus jako základ CTT.
- Fundamentální měření, aditivita (řazení a řetězení), závěry Fergusonovy komise a jejich dopady na měření v psychologii.
- Základní psychometrické pojmy: validita, reliabilita, objektivita, férovost, normy,
standardizace. Náležitosti psychodiagnostických metod.
- Model měření; klasická testová teorie (CTT).
- Pravé skóre, hrubé skóre, chyba měření, latentní
a manifestní proměnná.
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/videozaznamy/PSYb2590_2023_P01.video5
Studijní zdroje
Povinná literatura
Povinná literatura k tomuto setkání je poněkud delší než obvykle. Pokud nemáte prostor přečíst celých cca 80 stran, doporučuji začít první kapitolou z Furra (s. 1–15; na zbylé strany jen nahlédněte, jsou opakováním toho, co byste již měli vědět, a lze je tedy vynechat). Následně pokračujte Hoganem; první strany jsou nezbytné, od s. 18 pokračuje historický přehled, který je sice velmi čtivý, ale překrývá se s tématem přednášky.
- FURR: strany 1–40.
- HOG: strany 3–42.
Doporučená a rozšiřující literatura
- URB: strany 13–71 a 78–93.
(Tohle stínuje témata z Furra a Hogana, lze využít alternativně namísto nich, pokud preferujete český jazyk.) - FURR: strany 40–56
(Opakování důležitých statistických konceptů, pokud cítíte ve statistice určité mezery, nebo jste neabsolvovali oba statistické kurzy na katedře psychologie.) - Buchanan, R. D., & Finch, S. J. (2005). History of Psychometrics. Encyclopedia of Statistics in Behavioral Science (pp. 1–4). doi:10.1002/0470013192.bsa282
(Pokud vás zaujala historie psychometriky, jde o velmi zkrácené čtyřstránkové povídání, které by vás mohlo bavit.) - Gregory, R. J. (2014). Chapter 2: Origins of Psychological Testing. In Psychological Testing : History, Principles, and Applications (pp. 56–81). Pearson.
(Pokud stále nemáte dost historie, tak tohle povídání o historii je ještě lepší! :-) Revelle, W., Wilt, J., & Condon, D. M. (2011). Individual differences and differential psychology: A brief history and prospect. In T. Chamorro-Premuzic, S. von Stumm, & A. Furnham (Eds.), The Wiley-Blackwell handbook of individual differences (pp. 3–38). Wiley-Blackwell.
(Tohle je první kapitola on-line učebnice psychometriky. Revelle píše velmi zhutněným stylem, kdy na pár stránkách dostanete velmi vyčerpávající přehled určitého tématu. Nenechte se zmást, tato kapitola není ryze o historii psychometriky, ale zabývá se východisky stávající psychometriky; to však bez historie nelze.)
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/R._Michael_Furr__Verne_R._Bacharach_Psychometrics_An_Introduction.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/hogan2013.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/buchanan2005.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/gregory2014.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/revelle2011.pdf
Seminář 1: Tvorba položek | 13. 2. / 20. 2. 2023
Na semináři bude zadána seminární práce. Dále bude popsán způsob tvorby psychodiagnostických měřicích nástrojů, druhy položek, jejich výběru a základy konceptu obsahové (výběrové) validity. Studenti si budou sami moci vyzkoušet úvahu nad obsahovou validitou, operacionalizací konstruktu, a generování několika málo položek.
Klíčová témata semináře
- Různé druhy položek a formátů odpovědí.
- Psychologické škálování: Likertova škála, Thurstonova škála, Guttmanova škála.
- Obsahová validita, výběrová validita.
- Dekompozice obsahového univerza, obsahové univerzum, doména, fasetový model.
Seminář 1
Prezentace. Zadání seminární práce, dekompozice obsahového univerza, typy položek.
Studijní zdroje
Povinná literatura
Povinná literatura je shodná s literaturou k předchozímu setkání (přednášce 1).
Doporučená (rozšiřující) literatura
Pokud tápete v některém tématu ze semináře, můžete využít rozšiřující literaturu:
- Přehled škál používaných v psychologii:
Price, L. R. (2016). Psychometric Methods: Theory into Practice (kap. 5, pp. 141–164). New York: Guilford Press.
Skvělé shrnutí všech možných škál a typů dotazníků, se kterými se můžete setkat v psychologii. - Vývoj položkové banky:
Price, L. R. (2016). Psychometric Methods: Theory into Practice (pp. 165–181). New York: Guilford Press.
Jde o step-by-step návod k tvorbě položkové banky a pro vývoj nového měřicího nástroje. Tenhle návod můžete přímo využít při tvorbě seminární práce. - Jiný pohled na vývoj testu:
SCHULTZ, kap. 3–4, pp. 31–53. - Ucelený seznam požadavků na vývoj diagnostických nástrojů:
Downing, S.M. (2006). Twelve steps for effective test development. In S.M. Downing & T.M. Haladyna (Eds.), Handbook of test development (pp. 3–25). Mahwah, NJ: Lawrence Erlbaum.
Handbook of test development je asi nejucelenější kniha o vývoji psychologických testů; v jednom z jejích mnoha vydáních je k dispozici v knihovně FSS MU. Pokud v budoucnu uvažujete o kariéře v oblasti testového vývoje, jde o nezbytné čtení - autoři sborníku popisují step-by-step kroky od testového záměru, přes vývoj a ověřování až po publikační náležitosti. Řada pokynů směřuje dokonce i distributorům a vydavatelům testových metod či recenzentům.
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/price2017.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/schultz2013.pdf
APA šablona
Šablona výzkumného článku v APA formátu, kterou můžete využít pro přípravu vaší seminární práce.
Přednáška 2: Reliabilita a chyba měření | 27. 2. 2023
Přednáška představí model měření klasické testové koncept reliability jako ústřední základ
klasické testové teorie a představí rovněž i model měření klasické testové
teorie. Představeny budou základní způsoby odhadu reliability.
Klíčová témata
- Obecná definice reliability, její implikace pro měření. Vztah pravého a pozorovaného skóre, latentní a manifestní proměnné.
- Operacionalizace reliability v CTT, její předpoklady, koncept paralelních testů.
- Odhady reliability: test retest, reliabilita paralelních forem, shoda posuzovatelů, vnitřní konzistence.
- Reliabilita kompozitního a rozdílového skóre.
- Metody odhadu vnitřní konzistence: Split half (Spearmanův Brownův vzorec, Guttmanova λ4), Guttmanovy koeficienty vs. analýza kovarianční matice – Cronbachova alfa. Specifické případy: stratifikovaná a standardizovaná Cronbachova alfa.
- Slabiny CTT: předpoklad intervalových škál pro analýzu rozptylu, závislost výsledků na rozložení latentních proměnných resp. na vyšetřované populaci, obtížnost položky jako závislost na populaci; nerealističnost předpokladu lineárního vztahu hrubých skórů a latentní proměnné. Psychometrický paradox.
- Faktory ovlivňující reliabilitu testu.
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/videozaznamy/2023-02-27_10-07-54.video5
Studijní zdroje
Povinná literatura
- FURR: s. 101–186
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/R._Michael_Furr__Verne_R._Bacharach_Psychometrics_An_Introduction.pdf
Další materiály, ilustrační aplikace apod.
Doporučená a rozšiřující literatura
- Revelle, W., & Condon, D. M. Reliability. Unpublished manuscript.
Retrieved online: https://www.personality-project.org/revelle/publications/reliability-final.pdf
(Poměrně kvalitní konceptuální přehled tématu reliability, může být místy náročnější na pochopení.) - SCHULTZ: s. 55–81.
(Skvělý rozšiřující zdroj. Obsahuje jednoduché praktické příklady, snadnější na pochopení.) - Sijtsma, K. (2009). On the Use, the
Misuse, and the Very Limited Usefulness Of Cronbach’s Alpha. Psychometrika, 74(1), 107-120. doi:10.1007/S11336-008-9101-0.
(Skvělé shrnutí nevýhod Cronbachovy alfy. Poměrně dost náročné na čtení.) - Marko, M. (2016). Využitie a zneužitie
Cronbachovej alfy pri hodnotení psychodiagnostických nástrojov. Testfórum, 5(7), 99-107. doi:10.5817/TF2016-7-90
(Vzdáleně podobné článku Sijtsmy, v češtině, výrazně srozumitelnější.) - Cho, E. (2016). Making Reliability Reliable: A Systematic Approach to Reliability Coefficients. Organizational Research Methods, 19(4), 651–682. doi:10.1177/1094428116656239
(Přehled všech možných odhadů reliability. Rovněž nejde o jednoduchý test.) - Raykov, T. (1997). Estimation of Composite Reliability for Congeneric Measures. Applied Psychological Measurement, 21(2), 173–184. doi:10.1177/01466216970212006
(Zobecnění konceptu vnitřní konzistence na kongenerické testy; skvělý článek o rodině o.) - Cronbach, L. J., & Shavelson, R. J. (2004). My Current Thoughts on Coefficient Alpha and Successor Procedures. Educational and Psychological Measurement, 64(3), 391–418. doi:10.1177/0013164404266386
(Jak to Cronbach s alfou vlastně myslel? :-) Článek spoluautorovaný Lee J. Cronbachem na sklonku jeho života k 50. výročí historie koeficientu alfa.)
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/raykov1997.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/schultz2013.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/cho2016.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/revelle2011.pdf
Marko (2016)
Marko, M. (2016). Využitie a zneužitie Cronbachovej alfy pri hodnotení psychodiagnostických nástrojov. TESTFÓRUM, 5(7), 99-107. doi:https://doi.org/10.5817/TF2016-7-90
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/cronbach2004.pdf
Průběžný test (vyplňujte 8.–13. března)
Pro zodpovězení tohoto testu postačuje povinná literatura. Doporučená a rozšiřující literatura však může zlepšit pochopení celého tématu a zjednoduší odpovídání. Test se zaměřuje na obsah přednášky i semináře, primárně se bude zaměřovat na pochopení témat. Součástí budou i praktické výpočty. Nedoporučuji spoléhat se jen na on-line kalkulačky.
Seminář 2: Práce s chybou měření | 27. 2. / 6. 3. 2023
Obsahem semináře bude především představení konceptu chyby měření a její využití při administraci a interpretaci psychodiagnostických testů na individuální úrovni, např. v podobě konstruktu intervalů spolehlivosti. Vlastní aplikace výpočtů bude vyžadovaná, nebude postačovat pouze dovednost použít dostupné "kalkulačky".
Hlavní témata semináře
- Standardní chyba měření, regresní model klasické testové teorie.
- Odhad pravého skóre, standardní chyba odhadu pravého skóre.
- Standardní chyba rozdílu.
- Konstrukce intervalů spolehlivosti pro různé účely.
Literatura
Povinná literatura
- Kratičký text s konceptuálními informacemi o různých druzích chyb měření:
Dudek, F. J. (1979). The continuing misinterpretation of the standard error of measurement. Psychological Bulletin, 86(2), 335–337. https://doi.org/10.1037/0033-2909.86.2.335
- Rozsáhlejší text v podobě konkrétních guidelines:
Harvill, L. M. (1991). An NCME Instructional Module on Standard Error of Measurement. Educational Measurement: Issues and Practice, 10(2), 33–41. https://doi.org/10.1111/j.1745-3992.1991.tb00195.x
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/dudek1979.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/harvill1991.pdf
Doporučená a rozšiřující literatura
- Instruktážní článek v českém jazyce:
Cígler, H., & Šmíra, M. (2015). Chyba měření a odhad pravého skóru: Připomenutí některých postupů Klasické testové teorie. Testfórum, 4(6), 67–84. doi:10.5817/TF2015-6-104
(Postup odhadu chyby měření v češtině.) - Ukázka, že všechno není jednoduché, a ne každý s námi doporučeným postupem souhlasí:
Charter, R. A., & Feldt, L. S. (2001). Confidence intervals for true scores: Is there a correct approach? Journal of Psychoeducational Assessment, 19(4), 350–364. https://doi.org/10.1177/073428290101900404
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/cigler2015.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/charter2001.pdf
Užitečné odkazy
Přednáška 3: Validita | 13. 3. 2023
Validita podle Messicka
Součástí přednášky prakticky nejsou jednotlivé zdroje důkazů validity podle Messicka, přesto však jde o klíčovou součást kurzu, jejíž znalost je nezbytná a proto bude součástí testů. Očekáváme, že tuto oblast nastudujete z povinné literatury; doporučujeme buď originální Messickovy texty (např. 1995, viz rozšiřující literatura), nebo pěkné shrnutí v rámci Furrovy učebnice (viz povinná literatura).
Jako doplňkový zdroj lze využít i Standardy pro pedagogické a psychologické testování, a to jak ve starším českém vydání, nebo lépe v nejnovějším americkém.
Přednáška se zaměřuje na koncept validity měřícího nástroje, zejména pak psychodiagnostické metody pro účely praktické psychologické diagnostiky i výzkumu v sociálních vědách. Představeno bude tradiční způsob uvažování o validitě, ale hlavním tématem bude moderní, tzv. Messickovo pojetí validity, které
poslouží jako konceptuální rámec pro zbytek kurzu.
Klíčová témata
- Tradiční pojetí validity: obsahová, empirická, konstruktová. Pojetí konstruktové validity podle Cronbacha a Meehla (1955).
- Moderní pojetí validity: Messickova (1989) sjednocená konstruktová validita. Zdroje důkazů konstruktové validity podle Messicka: vnitřní struktura testu, souběžná validita, validita procesu odpovídání, obsahová validita, důsledky využití testu.
- Kritika Messickova pojetí (např. Borsboom), přínosy Messickova pojetí pro praktickou psychodiagnostiku.
- Tradiční pojmy související s empirickou validitou: kriteriální, prediktivní, konvergentní, divergentní, inkrementální, diferenciální atd. Způsoby empirického odhadu jednotlivých ukazatelů validity.
- Tradiční pojmy související s obsahovou validitou: face-validity, zjevná a zdánlivá validita. Barnumský (Forerův) efekt. Faktorová validita.
- Tradiční nástroje konstruktové validity: multi-trait multi-method matrix
- Vztah validity a reliability, dopady nereliability na validitu měřícího nástroje i interní validitu výzkumu: attenuation formula, psychometrický paradox, nereliabilní kontrolní proměnné.
- Omezení empirické validity: efekt stropu, podlahy, kompenzatorní efekt, Simpsonův paradox.
- Klinická vs. statistická predikce; Meehlovy experimenty (Grove, 2005).
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/videozaznamy/PSYb2590_2022_P03.video5
Studijní zdroje
Validita je klíčovým konceptem psychometriky a proto je tentokrát literatura poněkud rozsáhlejší. Na druhou stranu, literatura k semináři bude spíše úsporná (důležité je umět realizovat položkovou analýzu, k tomu není potřeba číst) a tak si můžete četbu rozložit třeba do obou týdnů.
Předpokládáme studium obou povinných textů. Furra můžete prolétnout, Borsbooma je lepší přečíst více pozorně. Pokud vás téma zaujme, zkuste si vybrat kterýkoli anglický zdroj z doporučené literatury podle vašeho zaměření, můžete využít popisky k jednotlivým textům. Všechny texty jsou zajímavé a témata se značně liší; pokud máte čas, určitě mezi nimi bude něco, co vás zaujme.
Povinná literatura
- FURR: s. 197–269.
- Borsboom, D., Mellenbergh, G.J., & van Heerden, J. (2004). The Concept of Validity. Psychological Review 111(4), 1061–71. https://doi.org/10.1037/0033-295X.111.4.1061
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/R._Michael_Furr__Verne_R._Bacharach_Psychometrics_An_Introduction.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/borsboom2004.pdf
Doporučená a rozšiřující literatura
Historie a východiska
Občas je velmi užitečné se podívat na to, jak o některých aspektech uvažovali jejich autoři (viz např. Likert a Likertova škála). V tomto kontextu doporučuji následující texty:
- Jak uvažoval o validitě Cronbach a Meehl v padesátých letech?
Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302. https://doi.org/10.1037/h0040957 - Jak testovat validitu pomocí MTMM matice?
Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81-105. http://dx.doi.org/10.1037/h0046016
- Validita podle Messicka od Messicka, a to včetně zdůvodnění, proč to jeho pojetí vypadá tak, jak vypadá.
Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. https://doi.org/10.1037/0003-066x.50.9.741
- Každý psycholog asi slyšel o Forerově (barnumském) efektu. Originální Forerova studie je proto pravý balzám na duši!
Forer, B. R. (1949). The fallacy of personal validation: a classroom demonstration of gullibility. The Journal of Abnormal and Social Psychology, 44(1), 118–123. https://doi.org/10.1037/h0059240
Doplňující texty a rozšiřující zdroje
- Tenhle zdroj opravdu doporučuji. Lissitz i Samuelsen jsou významní autoři na poli validity. V relativně recentním článku shrnují dosavadní pohledy na validitu a navrhují ještě jedno, novější a přehlednější pojetí, které vnáší světlo a systém do Messickova pojetí (text je součástí povinné literatury v magisterském kurzu Psychometriky PSYn4790):
Lissitz, R. W., & Samuelsen, K. (2007). A Suggested Change in Terminology and Emphasis Regarding Validity and Education. Educational Researcher, 36(8), 437–448. http://dx.doi.org/10.3102/0013189x07311286 - Pokud máte obtíže s angličtinou, můžete zkusit nahlédnout i do Urbánka (URB: strany 143–151). Knížka však obsahuje prakticky výhradně tzv. "tradiční pojetí". V případě tohoto tématu důrazně doporučuji studovat v angličtině, české zdroje raději vynechte.
URB: strany 143–151
Související témata
S validitou souvisí řada dílčích aspektů a souvisejících témat. Mohly by vás zaujmout některé z následujících zdrojů:
- Text o tom, jak zobecnit naše posouzení validity s pomocí meta-analýzy napříč vzorky:
SCHULTZ: strany 123–136. - Meta-analýza Meehlových experimentů o tom, proč je i naše velmi nedokonalé testování stále lepší než "klinická zkušenost":
Grove, W. M. (2005). Clinical Versus Statistical Prediction: The Contribution of Paul E. Meehl. Journal of Clinical Psychology, 61(10), 1233–1243. https://doi.org/10.1002/jclp.20179 - Chcete si přečíst o Forerově efektu v češtině? A jaký má Forerův efekt vliv na populární diagnostiku (pop-psychologii)? Nahlédněte do bakalářky Petry Zelenákové (vedoucí Honza Širůček):
Zelenáková, P. (2016): Forerův efekt v populárněpsychologické diagnostice. Brno, Masarykova univerzita. Nepublikovaná diplomová práce. Dostupné on-line: https://is.muni.cz/th/hidzr/Bakalarska_prace.pdf - Nereliabilita měřicího nástroje zkresluje validitu výzkumných závěrů (viz přednáška):
Westfall, J., Yarkoni, T., Petrini, L., Szarota, P., Vries, R. de, & Blas, L. Di. (2016). Statistically Controlling for Confounding Constructs Is Harder than You Think. PLOS ONE, 11(3), e0152719. https://doi.org/10.1371/journal.pone.0152719
- Dopady nenáhodného výběru vzorku na odhad validity (viz přednáška):
Zimmermann, S., Klusmann, D., & Hampe, W. (2017). Correcting the predictive validity of a selection test for the effect of indirect range restriction. BMC Medical Education, 17(1). http://dx.doi.org/10.1186/s12909-017-1070-5
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/messick1995.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/grove2005.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/cronbach1955.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/lissitz2007.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/zimmermann2017.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/Campbell1959.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/westfall2016
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/forer1949.pdf
3. průběžný test: vyplňujte 22.–27. 3. 2022
Položková analýza
Jednoduchá CTT položková analýza je součástí testu!
Test se bude skládat z validity (3. přednáška) a CTT položkové analýzy (3. seminář). Pro zodpovězení tohoto testu je nezbytná povinná literatura; jednotlivé typy validity podle Messicka nebyly v rámci přednášky probrány a je nutné je nastudovat. Pro tyto účely postačuje Furr postačuje, jako rozšíření lze využít i originální prameny (např. Messick, 1995). Nevynechejte prosím výběrovou validitu, která byla obsahem 1. semináře, a je součástí tohoto tématu.
Rovněž se ujistěte, že budete schopni provést jednoduchou položkovou analýzu na zadaných datech: že máte na počítači k dispozici příslušný software a že jej umíte ovládat. Pro realizaci položkové analýzy doporučujeme JASP či SPSS; Excel je spíše pomalý.
Průběžný test 3: zpětná vazba
Učitel doporučuje studovat od 5. 4. 2023 do 9. 4. 2023.
Průběžný test 3: zpětná vazba
Obsah není zveřejněný.
Seminář 3: Položková analýza a analýza testu z hlediska CTT | 13. 3. / 20. 3. 2023
Cíle semináře
Seminář integruje poznatky z druhé a třetí přednášky, na jejichž základě představí praktické postupy položkové analýzy, reliability testu atd. v rámci klasické testové teorie (CTT), a to v návaznosti zejména na druhou přednášku. Postupy budou představeny v MS Excel, SPSS a zejména pak JASP. Očekává se dovednost provést analýzy v alespoň jednom z nich a adekvátně je interpretovat.
Klíčová témata:
- Základní parametry položek: diskriminační schopnost položky, popularita resp. obtížnost, reliabilita škály a její úpravy; požadavky na reliabilitu a předpoklady reliability.
- Elementární položková CTT analýza.
- Výpočet ukazatelů položkové analýzy v CTT: obtížnost/popularita, rozptyl, korigovaná korelace, koeficient ULI, diskriminační účinnost položky a další.
- Praktická schopnost provést položkovou analýzu ve zvoleném programu (doporučuji JASP).
- Vztah reliability a validity v praxi.
- Odhad reliability ve smyslu vnitřní konzistence.
Software pro položkovou analýzu
Položková analýza bude realizována v programech MS Excel (lze stáhnout v rámci univerzitní licence Office 365) a zejména pak open source JASP, který lze jej stáhnout zdarma. Okrajově ukážeme některé pokusy i v SPSS, kterou lze stáhnout z Inetu.
Seminář 3
Veškerá data a doplňující soubory ke třetímu semináři o položkové analýze (JS 2023).
Studijní zdroje
Povinná literatura
- SCHULTZ: strany 171–193.
- FURR: s. 186–193
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/R._Michael_Furr__Verne_R._Bacharach_Psychometrics_An_Introduction.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/schultz2013.pdf
Doporučená a rozšiřující literatura:
Přednáška 4: Faktorová analýza | 27. 3. 2023
Blok zaměřený na faktorovou analýzu se sestává z jedné přednášky a dvou seminářů, přednáší jej Adam Ťápal. V rámci bloku předvedeme model měření s latentní proměnnou, předpokládaný faktorovou analýzou, a představíme způsoby využití explorační (EFA) a konfirmační (CFA) faktorové analýzy při vývoji a standardizaci psychodiagnostických metod. Přednáška představí základní teoretická východiska. Semináře se prakticky zaměří na praktické provedení explorační i konfirmační faktorové analýzy.
Klíčová témata
- Modely s latentní proměnnou, explorační faktorová analýza (EFA), konfirmační faktorová analýza (CFA).
- Analýza hlavních komponent, rozdíly oproti EFA.
- Identifikace optimálního počtu faktorů: Kaiserovo pravidlo, scree-plot, Hornova paralelní analýza.
- Metody extrakce explorační faktorové analýzy. Šikmé a ortogonální rotace.
- Metody odhadu konfirmační faktorové analýzy.
- Odhad konstruktové validity pomocí strukturního modelu a konfirmační faktorové analýzy.
- Typy proměnných z hlediska strukturálního modelování (manifestní, latentní, reziduální, endogenní, exogenní). Metody odhadu modelu; předpoklady o proměnných (rozložení, linearita vztahů).
- Problémy a svody konfirmační faktorové analýzy: problémy spojené s konstrukcí a interpretací modelu, hierarchické a aditivní modely, chyba reifikace.
- Odhad explorační i konfirmační faktorové analýzy prakticky v programu dle svého výběru. Praktické ukázky budou prováděny v SPSS, R a Jamovi.
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/videozaznamy/PSYb2590_2023_P04.video5
Studijní zdroje
Povinné zdroje
- FURR: s. 71–98 (EFA) a 331–353 (CFA). V novém vydání z roku 2018 jde o s. 121–163 (EFA) a 519–568 (CFA). Silně doporučujeme novou verzi učebnice.
- SCHULTZ: strany 269–300
- Kenny, D. A. (2015). Measuring Model fit. Dostupné online.
Doporučená a rozšiřující literatura:
- Urbánek, T. (2000): Strukturální modelování v psychologii. Brno: Psychologický Ústav AV ČR.
- McDonald, R.P. (1991): Faktorová analýza a příbuzné metody v psychologii. Praha: Academia.
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/R._Michael_Furr__Verne_R._Bacharach_Psychometrics_An_Introduction.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/schultz2013.pdf
Učitel doporučuje studovat od 24. 4. 2023 do 30. 4. 2023.
Obsah není zveřejněný.
Seminář 4: Explorační a konfirmační faktorová analýza | 27. 3. / 3. 4. 2023
Klíčová témata
Explorační faktorová analýza
- Předpoklady (explorační) faktorové analýzy.
- Postupy pro odhad počtu faktorů: Cattelův scree-plot (sutinový graf), Kaiserovo pravidlo, paralelní analýza, srovnání shody modelů s daty...
- Metody extrakce (ML, ULS, minres, PAF...).
- Rotace faktorových nábojů, metody rotace (jednotlivé příklady šikmých a ortogonálních rotací).
- Faktorová indeterminace.
- Rozdíl mezi explorační faktorovou analýzou (EFA) a analýzou hlavních komponent (principal component analysis, PCA).
- Interpretace pojmů jako faktorový náboj, komunalita, eigenvalue (vlastní hodnota), "uniqueness", vysvětlený rozptyl (v EFA) a další.
- Absolutní a relativní indexy shody modelu s daty.
- Interpretace modelu (matice faktorových nábojů, pattern matrix, korelační matice faktorů a další).
Konfirmační faktorová analýza
- Omezení a fixování parametrů, rozdíl EFA a CFA.
- Vyhodnocení shody modelu s daty.
- Úpravy modelu; modifikační indexy, reziduální kovarianční matice.
- Úpravy modelu; povolení cross-loadingů a reziduálních kovariancí.
- Standardizované vs. nestandardizované řešení.
Studijní zdroje
Holzinger
Hlavní data pro analýzu na semináři.
Povinná literatura
Pro přípravu postačuje přednáška o faktorové analýze a kapitoly týkající se explorační faktorové analýzy.
Rozšiřující a doporučené studijní zdroje
- Courtney, M. G. R. (2013). Determining the number of factors to retain in EFA : Using the SPSS R-Menu v2 . 0 to make more judicious estimations. Practical Assessment, Research & Evaluation, 18(8), 1–14.
Skvělý zdroj popisující a srovnávající jednotlivé metody odhadu počtu faktorů; používá k tomu speciální plug-in do SPSS. - Revelle, W. (2020, January 7).
How To: Use the psych package for Factor Analysis and data
reduction. Retrieved from https://cran.r-project.org/web/packages/psychTools/vignettes/factor.pdf
Jednoduché shrnuté (nejen) explorační faktorové analýzy s podrobným postupem v programu R. - Halquist, M. (2017, September 27). Factor Models. Rertrieved from https://psu-psychology.github.io/psy-597-SEM/06_factor_models/factor_models.html
(Skvělý technický popis - nejen - explorační faktorové analýzy).
Faktorová analýza v ruce
Zkuste nalézt co nejlepší faktorové řešení; můžete upravovat faktorové náboje (případně i korelace faktorů, chcete-li).
Záznamy seminářů z minulých let
Pokud tápete, jak interpretovat výsledky faktorových analýz, můžete mrknout na záznam semináře z loňského roku!
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2022/PSYb2590/um/videozaznamy/2022-03-28_12-04-06.video5
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2022/PSYb2590/um/videozaznamy/PSYb2590_2022_S05.video5
Přednáška 5: Objektivita, normy, standardizace | 17. 4. 2023
Přednáška představí koncept norem a standardizace testu a
položí tak základ pro interpretaci testových výsledků a tedy i využití
měřicích nástrojů v psychodiagnostické praxi. Kromě toho se zaměří na
způsob konstrukce norem a návrh standardizačních studií. Tematický blok sestává
výhradně z přednášky, nepatří k němu žádný seminář.
Klíčová témata
- Standardní skóry. Různé druhy standardních skórů, jejich interpretace.
- Odvozené skóry. Různé druhy odvozených skórů, jejich interpretace.
- Ipsativní a interaktivní skóry. Vývojové normy.
- Vliv chyby měření na interpretaci testových skórů.
- Způsob konstrukce norem, předpoklady jejich konstrukce.
- Design standardizační studie, způsob výběru standardizačního vzorku.
- Různé druhy norem pro různá použití.
- Intervenující proměnné při standardizaci.
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/videozaznamy/2023-04-17_10-09-15.video5
Studijní zdroje
Povinná literatura:
- HOG: strany 61–106.
- FURR: 56–69.
- Urbánek, T. (2010). Stav české psychologické diagnostiky a evropský model recenze testu. Testfórum, 1(1), 2–5. doi:10.5817/TF2010-1-1
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/R._Michael_Furr__Verne_R._Bacharach_Psychometrics_An_Introduction.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/hogan2013.pdf
Doporučená a rozšiřující literatura:
- Nahlédněte do několika manuálů v Kabinetu diagnostických metod; vyberte si nějaké klasické české metody, nějaký dobrý dobrý zahraniční test (Stanford-Binet, WISC, Leiter-2, SDS apod.), a srovnejte je.
- O normách v češtině:
URB: strany 236–254. - Kapitola zaměřená na kriteriální skórování:
SCHULTZ: strany 195–216 - Ukázkový psychometrický manuál (asi nejlepší, se kterým jsem se zatím setkal):
McGrew, K. S., LaForte, E. M., & Schrank, F. A. (2014). Technical Manual. Woodcock Johnson IV. Rolling Meadows, IL: Riverside. Dostupné online: https://www.wjscore.com/Files/WJIVTechnicalManual.PDF
Mezinárodní komise pro testování produkuje řadu užitečných norem (nejen) o standardizaci. Doporučuji do nich alespoň nahlédnout:
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/itc2014.pdf
Přednáška 6: Další teorie měření | 24. 4. 2023
Cílem přednášky je představit další teorie a modely měření, které se v psychologii a souvisejících vědách používají, a se kterými je možné občasně přijít do kontaktu. Cílem tohoto tématu je zejména konceptuální pochopení jednotlivých teorií se zaměřením na jejich podstatu a hlavní principy, přínos a výhody či hlavní oblasti použití. Cílem je také jednotlivé teorie konfrontovat a zdůraznit jejich rozdíly, a to jak technické odlišnosti, tak i rozdílná empistemologická východiska.
Další teorie budou představovány skrze srovnání s klasickou testovou teorií, která bude podrobena obšírné kritice.
Klíčová témata:
- Formativní vs. reflektivní modely měření.
- Teorie zobecnitelnosti jako rozšíření CTT – fasetová struktura chyby měření, zdroje chyby měření. Rozdíl pojmu fasety v GT vs. teorii faset (viz výběrová validita).
- Teorie odpovědi na položku: základní koncept a principy; srovnání s faktorovou analýzou; charakteristická funkce položky; 1PL, 2PL a 3PL model měření.
- Příklady využití IRT: počítačové adaptivní testování, vyvažování testů (test-equating), pilotáž položek.
- Spojité měření: jen naprosté základy.
- Teorie vědomostních prostorů: jen naprosté základy.
- Modely s diskrétními latentními proměnnými, analýza latentních tříd: jen naprosté základy.
- (Dynamické) síťové modely. Konceptuální východiska, použití, aplikace.
- Q-sort, sociometrie: jen naprosté základy.
Přednáška zrušena!
Z důvodu nemoci jsme museli závěrečnou přednášku zrušit. Níže najdete nahrávku a prezentaci z předchozího roku.
Studijní zdroje
Přednáška 6
Prezentace z JS2022. Další teorie měření: Teorie zobecnitelnosti, teorie odpovědi na položku, síťové modely a další.
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/videozaznamy/PSYb2590_2022_P06.video5
Povinná literatura
V rychlosti si projděte následující kapitoly z Furra, které se zaměřují na teorii zobecnitelnosti a teorii odpovědi na položku.
- FURR: s. 355–383 (GT)
- FURR: s. 385–411 (IRT)
Další povinná literatura
Z následujícího seznamu si vyberte libovolný jeden podle tématu, které vás zajímá nejvíce, přečtěte jej a udělejte si na něj názor:
Spojité měření
Wikipedia contributors. (2020, April 12). Theory of conjoint measurement. In Wikipedia, The Free Encyclopedia. Retrieved 10:56, May 4, 2020
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/Shavelson_Webb_GT.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/borsboom2017.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/schmittman2013.pdf
Doporučená a rozšiřující literatura:
- URB: strany 112–120, 152–181, 255–265.
- DeMars, C. (2010). Item Response Theory. Oxford: Oxford University Press.
(Cca 100 stran, extrémně stručné s minimem statistiky!). - Bond, T. G., & Fox, C. M. (2007). Applying The Rasch Model : Fundamental Measurement in the Human Sciences (2 ed). Mahwaw (NJ): Lawrence Erlbaum Associates. Strany xiii–49.
(Konceptuální úvod do IRT).
ShinyItemAnalysis
Kromě CTT a IRT analýz umí generovat i charakteristické funkce odpovědi na položku, a to včetně polytomických modelů.