Validita diagnostického nástroje
PSYB2590: ZÁKLADY PSYCHOMETRIKY (PŘEDNÁŠKA 3)
22. 3. 2020 | HYNEK CÍGLER
IDS: Co to asi měří?
4
Validita
Validita výzkumu = platnost výsledků studie vzhledem ke
skutečnosti.
Validita diagnostické metody = platnost výsledků měření vzhledem
ke skutečnosti.
Validita metody je tedy shoda mezi nástrojem a měřeným rysem.
◦ Co ale, když měřený rys nedává smysl?
◦ Jak míru této shody vyjádřit?
E. G. Boring: „Inteligence je to, co měří test inteligence.“
◦ Upozorňuje na problém reifikace.
Historie konceptu validity testu 1
Okolo roku 1915 pojem validity ve smyslu prediktivní validity.
◦ „Here I am distinguishing between two different but related ideas namely, reliability and
validity. An instrument of measurement is reliable to the extent that it yields the same results
at different times and in the hands of different persons. It is valid to the extent that it
measures the thing it is supposed to measure.“ (Buckingham, 1921).
Kodifikace ve třicátých letech (Thurstone, 1931; Guilford, 1936), důraz na
souběžnou validitu.
◦ A na obsahovou (výběrovou) validitu.
Validita byla používána ve smyslu „korelace“ (s kritériem), nový test měl
korelovat s předchozím testem.
◦ Test IQ1 dostatečně koreluje s kritériem K. Nový test IQ2 dostatečně koreluje s původním testem IQ1.
Novější test IQ3 dostatečně koreluje s IQ2. Nejnovější IQ4 se starším IQ3. Co měří test IQ4?
Tato pojetí byla neudržitelná, protože neříkala nic o tom, co metoda měří.
Podle Lissitz a Samuelsen (2007).
Historie konceptu validity testu 2
Cronbach a Meehl (1955): Construct Validity in Psychological Tests.
◦ „Construct validity is ordinarily studied when the tester has no definite criterion measure of
the quality with which he is concerned, and must use indirect measures. Here the trait or
quality underlying the test is of central importance, rather then either the test behavior or the
scores on the criteria.“
◦ Campbell a Fiske (1959): Multitrait-multimethod matrix (MTMM).
Vychází z logického pozitivismu.
◦ Existuje nomologická síť teoretických konstruktů, které jsou vzájemně propojeny.
◦ Tyto konstrukty jsou operacionalizovány do pozorování (testem).
◦ Odpovídají pozorované vztahy těchto operacionalizací (testů) teoretickým vztahům
(konstruktů) tak, jak odpovídá uvažované nomologické síti?
Historie konceptu validity testu 3
Messick (zejm. 1989, 1995) vytvořil zastřešující pojetí konstruktové
validity (unified construct validity).
◦ Toto pojetí je dnes dominantní, převzaly jej i Standardy pro pedagogické a
psychologické testování (AERA, APA, NCME, 1999).
V posledních 30 letech probíhá dílčí rozvoj v souvislosti s modelbased
psychometrikou.
◦ Borsboom, Michell a jiní. Borsboom se kriticky vymezuje vůči pojetí
konstruktové validity.
Tradiční pojetí: Tři zdroje důkazů
Obsahová validita: Shoda mezi metodou a účelem metody (v teoretické rovině).
◦ Zjevná, zdánlivá, výběrová, obsahová, faktorová.
Empirická validita: Shoda mezi výsledkem testu a vnějším kritériem.
◦ Konvergentní, divergentní (diskriminační, diferenciální).
◦ Souběžná, prediktivní (dříve samostatná oblast důkazů), postdiktivní.
◦ Kriteriální.
◦ Někdy synonymum pro empirickou v. jako takovou, jindy jen pro empirickou v. s kategorickým kritériem.
◦ Inkrementální.
Konstruktová validita: shoda metody s latentními konstrukty postulovanými teorií.
◦ Zaměřená na latentní proměnné (strukturní modelování, MTMM), faktorová analýza.
◦ Flexibilní kladení a zodpovídání otázek vyplývajících z účelu metody a teorie.
Moderní pojetí:
Unifikovaná konstruktová validita
Vychází z tzv. Messickova (např. 1995)
„sjednoceného pojetí konstruktové
validity“.
◦ Validita je jediným, multifasetovým
konstruktem.
◦ Důraz na hodnocení a použití testu.
Validita je integrativním shrnutím
dílčích důkazů.
Toto pojetí se vyskytuje v moderních
učebnicích psychometriky.
Zdroje důkazů podle Messicka:
◦ Obsah testu
◦ Vnitřní struktura testu
◦ Odpověďové procesy
◦ Souvislost s kritériem
◦ Konsekvence testování
◦ (Zobecnitelnost a „šíře významů“.)
Definice konceptu validity
Messick (1989, s. 20): „... an integrated evaluative judgment of the
degree to which empirical evidence and theoretical rationales
support the adequacy and appropriateness of inferences and actions
based on test scores or other modes of assessment.“
◦ Validita je hodnocení testu (proto i např. konsekvenční validita, viz později).
Borsboom (2004): „A test is valid for measuring an attribute if (a) the
attribute exists and (b) variations in the attribute causally produce
variation in the measurement outcomes.“
◦ Validita je vlastnost testu, kterou hodnotíme.
Borsboomova kritika Messickova pojetí 1
„How construct validity is sold:
Construct validity is an evaluative, integrated judgement of
the degree to which test score interpretations are justified
in the light of empirical evidence and theoretical rationales
(and, possibly, social consequences that follow from test
use)“
Borsboom (n.d.)
Borsboomova kritika Messickova pojetí 2
„What construct validity really is:
Somebody’s evaluative, integrated and fluctuating
judgement of the degree to which test score
interpretations, that may have nothing to do with
measurement, are justified in the light of time-dependent
empirical evidence and that person’s theoretical rationales
(and, possibly, that person’s guesses about social
consequences that follow from test use as well as his or her
valuation of these outcomes).“
Borsboom (n.d.)
Messick vs. Borsboom
MESSICK
„Psychodiagnostické pojetí“.
Validita je zhodnocením shody
nástroje a účelu diagnostiky.
Validita zahrnuje politické aspekty
diagnostiky včetně důsledků měření.
Zaměření na použití metody
v praktickém kontextu.
Konstruktivismus.
BORSBOOM
„Ontologické pojetí“.
Validita je shoda nástroje a měřeného
atributu.
Politické aspekty měření a důsledky
diagnostiky nejsou součástí konceptu.
Zaměření na to, co je měřeno. Kontext
je důležitý, ale nejde o validitu.
Realismus.
Validita je tedy odpověď na otázku:
(Borsboom a podlézavě i Cígler)
„Je naše teorie o odpovídání lidí správná?“
Dvě dílčí odpovědi:
◦ Existuje atribut?
◦ V operacionalistické CTT pravý skór existuje vždy; CTT je celkově vadný model měření. Preference FA, IRT při validizaci.
◦ Měří metoda tento atribut?
Pod souhrnný pojem „validita“ jsou nicméně často řazeny odpovědi na další
důležité otázky:
◦ Predikuje test chování osob v budoucnu?
◦ Je použití testu eticky a legálně obhajitelné?
◦ Slouží použití testu zamýšlenému účelu?
Vybrané
pojmy
a problémy
spojené
s konceptem
validity
Následují výhradně vybraná témata.
Pro celkový přehled je nezbytné
samostudium.
Zdroje „invalidity“
PODREPREZENTOVÁNÍ KONSTRUKTU
Metoda neměří požadovaný
konstrukt v celé šíři.
Důležité aspekty konstruktu
nejsou metodou zachyceny.
Typický důsledek psychometrický
paradox.
KONSTRUKTOVĚ-IRELEVANTNÍ ROZPTYL
Metoda měří i něco
jiného/dalšího.
Část rozptylu skórů je způsobena
něčím jiným.
Např.: Odpovědní styl
respondentů, kulturní/jazykové
rozdíly (DIF, non-invariance)...
Nomologická síť
Klíčový aspekt konstruktové validity podle Cronbacha a Meehla (1955).
Zařazení významu metody do sítě veškerých možných jiných významů.
Souběžná (kriteriální) v.: inteligenční test A koreluje s inteligenčním testem B.
Konstruktová v.: Zařazení inteligenčního testu A do nomologické sítě inteligence.
◦ Test A koreluje s testem B i s testem C podle očekávání.
◦ Test A dobře rozlišuje skupiny respondentů X a Y, u nichž lze čekat rozdílná úroveň inteligence.
◦ Test A nekoreluje s testem motivace D a jen slabě koreluje s testem školních dovedností E.
◦ atd. ...
◦ ...
Postupy: Multitrait-Multimethod Matrix (Campbell a Fiske, 1959), SEM model.
Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin 56(2). http://dx.doi.org/10.1037/h0046016
http://www.socialresearchmethods.net/kb/mtmmmat.php
PřevzatopodleCampbellaFiske(1959)
Faktorová validita
Inkrementální validita
Máme dva testy (T1, T2) a kritérium (K), které chceme predikovat.
„Zlepšuje souběžné použití T1 a T2 predikci K oproti použití pouze T1?“
◦ Např.: „Přijímací zkoušky na FSS: Přispívá test ze ZSV k predikci úspěšnosti u bc. státnic oproti
predikci na základě pouze OSP?“
Metoda 1: Parciální korelace.
◦ Koreluje spolu T2 a K po kontrole T1?
◦ Koreluje spolu unikátní rozptyl T2 a K, který
není společný s T1?
Metoda 2: Hierarchická lineární regrese.
◦ Krok 1: K ← T1; R2 vysvětleného rozptylu.
◦ Krok 2: K ← T1 + T2; R2 + ΔR2 vysvětleného rozptylu.
◦ ΔR2 je ukazatelem inkrementální validity. Zvýší přidání metody T2 vysvětlený rozptyl kritéria K?
T1
T2
C
D F
E
G
K
A B
𝑟𝑇1 𝐾|𝑇2
=
𝑟𝑇1 𝐾 + 𝑟𝑇1 𝑇2
𝑟𝑇2 𝐾
1 − 𝑟𝑇1 𝑇2
2
1 − 𝑟𝑇2 𝐾
2
=
=
𝐶
𝐷 + 𝐶
𝑟𝑇1 𝐾 =
𝐷 + 𝐺
𝐷 + 𝐺 + 𝐶 + 𝐹
=
=
𝐷 + 𝐺
𝐷 + 𝐺 + 𝐴 + 𝐸
Inkrementální validita: 2 směry uvažování
Psychometrika: Nový test obsahuje systematický rozptyl související s původním testem.
◦ „Při přijímačkách na VŠ prodloužím OSP z 50 na 100 položek při zachování postupu jejich tvorby.“
◦ „Při diagnostice školní neúspěšnosti použiju další inteligenční test.
◦ Primárně zvyšuji jen přesnost diagnostického závěru, nepřináším nic věcně nového.
Diagnostika: Nový test obsahuje nový systematický rozptyl nesouvisející s původním testem.
◦ „Při přijímačkách přidám k OSP ještě test ZSV.“
◦ „Při diagnostice školní neúspěšnosti použiju kromě inteligenčního testu ještě rodičovskou posuzovací škálu.“
◦ Vyšetření/měření obohacuji o novou perspektivu, rozšiřuji významy diagnostického závěru.
Redukuje nová metoda podreprezentování měřeného konstruktu?
Nepřináší nová metoda konstruktově-irelevantní rozptyl?
(A může vůbec nový test „nekorelovat“, je-li cíl diagnostiky stále stejný?)
Obtíže s kritériem: Nereliabilita
Kritérium, které používáme pro validizaci, není většinou zcela
reliabilní (viz attenuation formula).
Dochází k podhodnocení validity.
◦ Z toho důvodu preference SEM modelů, které odhadují přímo vztah latentních
proměnných.
V některých případech ale (ne)reliabilitou dělíme – např. parciální
korelace, inkrementální validita.
◦ V takovém případě nereliabilita kritéria může nadhodnotit odhad
konstruktové validity.
◦ Nová metoda zvyšuje predikci, ale může vést k výzkumně vadným závěrům.
Obtíže s kritériem: Nereliabilita
Vztah počtu utonutí a prodeje zmrzliny (na základě prodeje zmrzliny
predikujeme, kolik lidí se ten den utopí po kontrole teploty).
◦ Westfall a Yarkoni (2016).
Obtíže s kritériem: Distribuce
Zejména při ověřování prediktivní validity často pozorujeme efekt stropu či
podlahy.
◦ Na základě testu je přijato 200 studentů z 1000 uchazečů o studium na VŠ.
◦ U těchto 200 studentů je ověřena prediktivní validita testu vůči prospěchu na konci 1. ročníku.
Efekt stropu/podlahy snižuje rozptyl a tedy pozorované korelace: validita je
podhodnocena.
◦ Existuje řada postupů pro korekci těchto efektů.
Může docházet ke zdánlivým korelacím.
Souběžná validita: Kompenzatorní efekt
a) Scattergram of X1 and X2. 20%
of 1000 applicants are selected
by the sum of X1 and X2; the
circular cloud representing all
applicants is divided by a
diagonal line that separates the
top right area from the bottom
left area.
b) This generates a negative
correlation between X1 and X2 in
the incumbents (𝑟𝑥1 𝑥2|𝑖 =
− 0,71). Residuals of X1 after
the linear effect of X2 is
removed. They are expressed as
deviations from the regression
line: The residuum of X1 when
the influence of X2 is removed is
the observed X1 value minus the
expected value of the regression
X1 on X2.
Zimmerman a kol. (2017)
Prediktivní validita: Efekt stropu/podlahy
The correlation in the full
sample of applicants (a) is
larger than the correlation
in the incumbents
(b) due to range restriction:
The variances of X1, X2 and
Y are restricted
Zimmerman a kol. (2017)
Thorndikeovy rovnice.
V češtině např. dizertace
Viktorové (2018).
Messick 1
1. OBSAHOVÁ RELEVANCE
Odpovídá obsah testu účelu?
Nechybí něco, nepřebývá něco, co by podle
teorie (ne)mělo být součástí testu?
Byl dobrý způsob tvorby položek?
De facto výběrová validita.
2. VNITŘNÍ STRUKTURA TESTU
Odpovídá faktorová struktura očekávání na
základě teorie?
◦ Dříve tzv. faktorová validita jako součást validity
obsahové.
Je pozorovaná faktorová struktura shodná
s tou zamýšlenou?
Někdy zahrnuje i zvážení vnitřní konzistence.
◦ Je vnitřní konzistence/reliabilita taková, jaká by
měla být?
Messick 2
3. ODPOVĚĎOVÉ PROCESY
Volí při odpovídání respondent takové
kognitivní procesy, které by na základě teorie
volit měl?
Neintervenuje nějaký externí systematický
rozptyl?
◦ Odpověďový styl, sociální žádoucnost.
Rorschach, projektivní testy...
Rozumí respondent položkám?
4. SOUVISLOST S DALŠÍMI PROMĚNNÝMI
De facto původní pojetí konstruktové validity
podle Cronbacha a Meehla (1955).
Souhrn důkazů konvergentní a divergentní
validity, zařazení skórů do nomotetické sítě.
Úzce souvisí s tradičním pojetím empirické
validity.
Messick 3
5. KONSEKVENCE TESTOVÁNÍ
Úzce souvisí s férovostí testování.
◦ Nezvýhodňují přijímací zkoušky muže na úkor
žen? Majoritu na úkor Romů?
Culture-free testing.
Nejsou výsledky testování zneužitelné?
◦