Replikovatelnost českého psychologického
výzkumu
Psychologické dny Olomouc 2016
8. 9. 2016
Českomoravská psychologická společnost ^1   \W UNIVERZITA
• • •
PALACKÉHO
VOLOMOl C I
Kontakt:
vit.gabrhel@mail.muni.cz
Autorský tým
Hynek Cígler, Karolína Bernatová, Hana Blažková, Kitti Farkasová, Světlana Farkasová,
Vít Gabrhel, Jaroslav Gottfried,
Edita Chvojková,
Anna Janů, Stanislav Ježek, Lenka Knapová, Tomáš Kratochvíl, Vojtěch Mýlek, Ondřej Novák,
Petr Palíšek, Kateřina Prachařová,
Karel Rečka, Anna Marie Rosická, Tomáš Rudecký, Klára Smejkalová, David Vašek
A4
MASARYKOVA UNIVERZITA FAKULTA SOCIÁLNÍCH STUDIÍ
^SPH1L0S0<
FILOZOFICKÁ FAKULTA UNIVERZITY KARLOVY V PRAZE
Východiska
Počet publikací českých docentů a profesorů psychologie jako hodnocení kvality jejich práce:
• Bezdíček, Preiss a Dočkalová (2009)
• Preiss a Mačudová (2012)
Počet studií vsak nic neříká o jejich kvalitě
• Jedním z ukazatelů kvality výzkumu je jeho replikovatelnost
Replikovatelnost v kontextu naší studie:
• Počet statistických testů, které by při replikaci vyšly jako statisticky signifikantní
Replikační krize?
SCIENCE
^ . ixeA^ťS^í^og/s replication crisis ^^^^^^šáSÍks new debate ScienceNev\
'e,,Ce»^ySC^».e8nsforř(i
vrr/iefIJft_
Co znamená replikační krize pro psychologii?
Sociál Priming (dle Aronson, Wilson, & Akert, 2014)
Proces, při kterém nedávná zkušenost zvyšuje pravděpodobnost aktivace určitého schématu či konceptu. S větší pravděpodobností bude aktivováno schéma, které se vyskytlo nedávno, nebo již v minulosti bylo použito. Jde o příklad automatického uvažování a dochází k němu neúmyslně.
• Změnu chování či úsudku mohou vyvolat i relativně subtilní
vodítka jako výška židle (Sanna et al., 2011), teplota hrnku s kávou (Williams & Bargh, 2008) nebo barva vytištěného slova (Bertrams et al., 2014).
Opravdu tomu tak je?
• Očekávaný efekt nebyl replikován (Klein et al., 2014)
Implikace - terapie, manželské a rodinné poradenství:
• Pocit závazku ve vztahu (NE)vede k odpouštěni (Cheung et al., accepted)
Open Science, 2015
"We conducted a large-scale, collaborative effort to obtain an initial estimate of the reproducibility of psychological science"
100 studií a výsledky jejich replikace
• Psychological Science,
• Journal of Personality and Social Psychology,
• Journal of Experimental Psychology: Learning, Memory, and Cognition
Původní Replikace
Průměrná velikost účinku: Průměrná velikost účinku:
Mr = 0,403; SD = 0,188 Mr= 0,197; SD= 0,257
Statistická signifikance: Statistická signifikance:
97 % studií p < 0,05 36 % studií p < 0/05
Hodnota velikostí účinku z původních studií se nacházela v 95% intervalu
spolehlivosti při replikaci v 47 % případů.
Výzkumná otázka
Jaká je replikovatelnost českého psychologického výzkumu?
Design
Vyhledání autorů/studií s afiliací k ČR (Československo...)
• Provázání publikací s autory, aby bylo možné zjistit citační parametry autorů (IF) jednotlivých studií (snaha o provázání co nejvíce studií).
Identifikace klíčových hypotéz a zápis relevantních údajů
• Např. t (45.7) = 4.23, p = .001; d = .3
Analýza vybraných indikátorů
• R-index, statistická síla, velikosti účinků atd.
Vzorek
Kritéria pro zařazení
• „ Czech Republic", „Czechoslovakia", ,,article", „psychology" (zahrnuje i různé podoblasti).
Klíčová slova
• social, applied, clinical, biological, educational, experimental, mathematical, developmental, psychoanalysis a multidisciplinary psychology
1301 studií s celkem 3469 autory
• Roky: 1996-2016
• Před změnou ve WoS (1996) bylo dohledatelných méně než 50 % autorů
• Alespoň jeden autor byl dohledán u 986 studií (76 %)
Metody
Rep 1 i ko va tel n ost
Statistická síla
• Pravděpodobnost, že kdybychom výzkum replikovali stejně, identifikovali bychom signifikantní výsledek.
■ Pakliže by měl být hledaný efekt stejně velký jako ten v původní studii.
• Studie se statistickou sílou 50 % by v případě 100 provedených analýz měla vést k 50 signifikantním a 50 nesignifikantním výsledkům
• Publikační zkreslení - publikovány jsou v naprosté většině případů signifikantní výsledky
Replicability index (R-index)(sChimmack,2oi4)
• Ukazatel (nikoli přímý odhad) přesnější než síla testu, protože kompenzuje publikační zkreslení
• Kombinuje informace o statistické síle v původní studii spolu s inflací statistické síly vzhledem k publikačnímu zkreslení (tzv publication bias).
■ Inflation = Percentage of Significant Results - Median (Estimated Power)
■ R-Index = Median Observed Power - Inflation
Metody
Scientometrie
Impact Factor (IF)
"Průměrný" počet citací "průměrného" článku v daném žurnálu ve vybraný rok. Takto definovaný IF je hodnocením dopadu žurnálu jako celku, ne však jednotlivých článků.
• Author Impact Factor (AIF) = "averages the number of citations received by all
papers published by an author in a given time window" (Pan & Fortunato, 2014, p. 2) HirschUv index (h-index) (Hirsch, 2005)
Nástroj pro současné určení produktivity a citačního dopadu daného autora
Kolik článků daného autora dosahuje citovanosti vyšší, než je poradové číslo článku dle počtu citací.
/(A)=10, 0)=8, /(C)=5, /(D)=4, /(E)=3 /z-index=4 /(A)=25, 0)=8, /(C)=5, /(D)=3, /(E)=3 /z-index=3
Výsledky
Scientometrie
c
o o
o o
o o
o o n
o o
OJ
o o
c
D
O
o
O O
O O c";
O O OJ
o o
10
15
normalizovaný impact factor
Výsledky
Souvislost R-indexu a TF
0 o lg
O O
CO
o o o
o o
10
15
20
25
impact faktor
H index
n (počet autorů)
Výsledky
R-index dle oblasti psychologie
vsechny Social Psychoanalasis Multidisciplinary Mathematical Experimental Educational Developmental Clinical Biological Applied
0.0
0.5
1.0
R index
Výsledky
Provedená testy s příslušným z-skórem
c
O
O CO
o o
OJ
o o
n
N(z<=N) = 1002 ; N(z>N) = 2062
	
	CN
	O
	O
	OJ
O	o
c	
<D	uo
	
O)	o
y—	
'č	o
>	
-4—' (U	o
(D	
	UD
	O
	o
	o
	o
	o
N = 10
N testů <= N N testu <= N N testů > N
2
4
|z| skóry
|zj skóry
Interní validita: Shoda posuzovatelů
Shoda posuzovatelů byla ověřena na 27 náhodně vylosovaných zařazených studií, které ohodnotil další hodnotitel podruhé.
Z těchto 27 druhý hodnotitel 6 vyřadil
(4 netestovaly hypotézy, 1 byla "zmatená", 1 "jiné důvody").
R-index zbylých 21 studií Spearmanovo rho = 0,832, 95% Cl [0,60; 0,92] (bootstrap)
Nelišil se ani průměrný R-index u posuzovaných studií (Wilcoxonův test p = 0,796).
Shoda posuzovatelů (R-index studií) 1 A								
1,2 1 n >■ ■ 0,8 c ■ "I 0,6 > Q. 0,4 0,2 n					*		•	
						• A 4	1	
			•	W 4	• <			
					►			
		•	•					
		• •	•		•			
	• •	4	i					
0         0,2        0,4        0,6        0,8          1         1,2 1,4 revize analýzy								
Diskuze
Výsledky
Podstatná část českého psychologického výzkumu není citovaná
vůbec nebo jen minimálně.
Celkový R-index = 0,7. Replikovali bychom tedy 70 % studií.
U českých psychologů citační indexy (AIF, h-index) nesouvisí s R-indexem.
Výzkumníci nedodržují standardy při prezentaci statistik.
Diskuze
Reflexe sběru dat
Klíčové nedostatky
• Chybějící informace o...
■ Přesné hodnotě "p", zejména při non-signifikantním výsledku (kupř. "n.s.")/
■ Velikost účinku (d, r, atd.),
■ Výsledek testu (F = ...),
■ Počet případů (N) či stupně volnosti (df)
• Nesnadná identifikace klíčových hypotéz
• I přes deklarování explorační povahy bylo prováděno testování significance, doprovázené reportem vybraných (signifikantních) výsledků
• Absence korekce při vícenásobném srovnání na týchž datech (kupř. Bonferroniho metoda)
• Deskriptivní statistiky chyběly či obsahovaly jen část relevantních údajů
Řešení?
Dodržování APA formátu
(např. American Psychological Association, 2001; Morgan, Reichert, & Harrison, 2002)
Take home message
Replikovatelnost výzkumu jednotlivých autorů se liší, ale ne v závislosti na počtu jejich publikací,
respektive na dopadu těchto
publikací.
Děkuji za pozornost
Zdroje
American Psychological Association. (2001). Publication manual of the American Psychological Association (6th ed.). Washington, DC: Author. Aronson, E., Wilson, T. D., & Akert, R. M. (2014). Social psychology. Harlow: Pearson.
Bertrams, A., Baumeister, R. E, Englert, C, & Furley P. (2015). Ego depletion in color priming research: self-control strength moderates the detrimental effect of red on cognitive test performance. Personality & Social Psychology Bulletin, 41(3), 311-22. doi:10.1177/0146167214564968
Bezdíček, O., Preiss, M., & Dočkalová, E. (2009). D Isregulation and R Esponse To O Piate B Lockers. Psychiatrie, 13(2-3), 108-113.
Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proc Natl Acad Sci USA, 102(46), 16569-16572. doi:10.1073/pnas,0507655102
Cheung, I., Campbell, L., LeBel, E.,...Yong, J. C. (accepted). Registered Replication Report: Study 1 from Finkel, Rusbult, Kumashiro, & Hannon (2002). Perspectives on Psychological Science
Klein, R. A., Ratliff, K. A., Vianello, M., Adams Jr, R. B., Bahník, Š., Bernstein, M. J., ... & Nosek, B. A. (2014). Data from Investigating Variation in Replicability: A "Many Labs" Replication Project./oHrwa/ of Open Psychology Data, 2(1), e4.
Morgan, S. E., Reichert, T., Harrison, T. R. (2002). From numbers to words. Reporting statistical results for the social sciences. Allyn & Bacon. Open Science (2015). Estimating the reproducibility of psychological science. 349 (6251), http:/ /doi.org/10.1126/science.aac4716
Pan, R. K., & Fortunato, S. (2014). Author Impact Factor: tracking the dynamics of individual scientific impact. Scientific Reports, 4,4880. doi:10.1038/srep04880 Preiss, M., & Mačudová, G. (2012). Publikační Aktivita a Citovanost Českých Docentů a Profesorů V Oboru Psychologie. E-Psychologie, 6(4).
Sanna, L. J., Chang, E. C, Miceli, P. M., & Lundberg, K. B. (2011). Rising up to higher virtues: Experiencing elevated physical height uplifts prosocial actions. Journal of Experimental Social Psychology, 47(2), 472-476. doi:10.1016/j.jesp.2010.12.013
Schimmack, U. (2014). Quantifying Statistical Research Integrity: The Replicability Index, 1-31. Retrieved from http: / /r-index.org/uploads/3/5/6/7/3567479/introduction_to_the_r-index_14-12-
01.pdf
Williams, L. E., &Bargh, J. A. (2008). Science. October, 322(5901), 606-607. doi:10.1126/science.H62548.Experiencing