MUNI Poučení z „krize důvěryhodnosti" v psychologické vědě CORE042: Data - odpověď na základní otázku života, vesmíru a vůbec... 5. přednáška Hynek Cígler Katedra psychologie - Fakulta sociálních studií 1 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS Vývoj vědeckého poznání -Tradičně: kumulativní vývoj poznání. - Kumulace pozorování a deduktivních úsudků. -Thomas Kuhn (1962): paradigmatický posun, vědecká revoluce. - Paradigma - koherentní výkladový rámec přijímaný (drtivou) většinou odborníků. - Každopádně ale předpokládáme, že na předchozích poznatcích lze stavět. - Interpretace mohou být sice mylné, data jsou ale správná a věčná. 2 CORE042 I Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I OPRAVDU? 3 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Tři příklady z „nedávné" historie: rok 2011 Da ryl Bern: Feeling the Future (2011) Diederik Stapel John Bargh (2010) (58 retrakcí 2011-2019) priming stářím (>2.400 citací) 5 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS MUÍJ I Nemusíme ale chodit do zahraničí... 6 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS Kolik výzkumných zjištění (nejen) v psychologii je tedy vlastně „znovu-použitelných"? A vadí to někomu? MU ill Počet citací primingu stářím v čase Bargh, J.A., Chen, M., & Burrows, L. (1996). Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action. Journal of Personality and Social Psychology, 71(2). https://doi.orq/10.1037/0022-3514.71.2.230 Replikace 4: Až Barghova reakce na tuto replikaci spustila veřejnou debatu: Doyen, S., Klein, O., Pichon C.L., Cleeremans, A. (2012). Behavioral Priming: It's All in the Mind, but Whose Mind? PLoS ONE 7(1), e29081. https://doi.org/10.1371/journal.pone.0029081 Replikace: Hull et al. (2002) Replikace 2: Cesarioetal. (2007) ||| Replikace 3: Pashleret al. (2008) Citations 3T 8 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS MUMI Počet citací primingu stářím v čase Bargh, J.A., Chen, M., & Burrows, L. (1996). Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action. Journal of Personality and Social Psychology, 71(2). https://doi.orq/10.1037/0022-3514.71.2.230 - Přehled replikačních studií (vyhledávejte „elderly priming") - https://curatescience.org/app/replications - J. A. Bargh: Priming Effects Replicate Just Fine, Thanks - Barghova reakce: https://www.psvchologvtodayxom/us/blog/the-natural-unconscious/201205/priming-effects-replicate -Susan Fiske: „Methodological terrorism". - Shrnutí: https://www.businessinsider.com/susan-fiske-methodoloqical-terrorism-2016-9 - Dobová reflexe Barghovy kauzy. - https://www.nationalgeographic.com/science/article/failed-replication-bargh-psvchology-studv-d -„Doktor r strikes back" (reflexe po sedmi letech): - https://replicationindex.com/2019/03/17/raudit-bargh/ 9 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Replikační krize v psychologii Estimating the reproducibility of psychological science - "We conducted a large-scale, collaborative effort to obtain an initial estimate of the reproducibility of psychological science." - 100 studií a výsledky jejich replikace - Psychological Science - Journal of Personality and Social Psychology - Journal of Experimental Psychology: Learning, Memory, and Cognition -Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716 10 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Replikační krize v psychologii Estimating the reproducibility of psychological science (seznam autorů) Alexander A. Aarts, Joanna E. Anderson, Christopher J. Anderson, Peter R. Attridge, Angela Attwood, Jordan Axt, Molly Babel, Štěpán Bahník, Erica Baranski, Michael Barnett-Cowan,Elizabeth Bartmess, Jennifer Beer, Raoul Bell, Heather Bentley, Leah Beyan, Grace Binion, Denny Borsboom, Annick Bosch, Frank A. Bosco, Sara D. Bowman, Mark J. Brandt, Erin Braswell, Hilmar Brohmer, Benjamin T. Brown, Kristina Brown, Jovita Brüning, Ann Calhoun-Sauls, Shannon P. Callahan, Elizabeth Chagnon, Jesse Chandler, Christopher R. Chartier, Felix Cheung, Cody D. Christopherson, Linda Cillessen, Russ Clay, Hayley Cleary, Mark D. Cloud, Michael Cohn, Johanna Cohoon,Simon Columbus, Andreas Cordes, Giulio Costantini, Leslie D. Cramblet Alvarez, Ed Cremata, Jan Crusius, Jamie DeCoster, Michelle A. DeGaetano, Nicolas Delia Penna, Bobby den Bezemer, Marie K. Deserno, Olivia Devitt, Laura Dewitte, David G. Dobolyi, Geneva T. Dodson, M. Brent Donnellan, Ryan Donohue, Rebecca A. Dore, Angela Dorrough, Anna Dreber, Michelle Dugas, Elizabeth W. Dunn, Kayleigh Easey, Sylvia Eboigbe, Casey Eggleston, Jo Embley, Sacha Epskamp, Timothy M. Errington, Vivien Estel, Frank J. Farach, Jenelle Feather, Anna Fedor, Belén Fernández-Castilla, Susann Fiedler, James G. Field, Stanka A. Fitneva, Taru Flagan, Amanda L. Forest, Eskil Forsell, Joshua D. Foster, Michael C. Frank, Rebecca S. Frazier, Heather Fuchs, Philip Gable, Jeff Galak,Elisa Maria Galliani, Anup Gampa, Sara Garcia, Douglas Gazarian, Elizabeth Gilbert, Roger Giner-Sorolla, Andreas Glöckner, Lars Goellner, Jin X. Goh, Rebecca Goldberg, Patrick T. Goodbourn, Shauna Gordon-McKeon, Bryan Gorges, Jessie Gorges, Justin Goss, Jesse Graham, James A. Grange, Jeremy Gray, Chris Hartgerink, Joshua Hartshorne, Fred Hasselman, Timothy Hayes, Emma Heikensten, Felix Henninger, John Hodsoll,Taylor Holubař, Gea Hoogendoorn, Denise J. Humphries, Cathy O.-Y. Hung, Nathali Immelman, Vanessa C. Irsik, Georg Jahn, Frank Jäkel, Marc Jekel, Magnus Johannesson, Larissa G. Johnson, David J. Johnson, Kate M. Johnson, William J. Johnston, Kai Jonas, Jennifer A. Joy-Gaba, Heather Barry Kappes, Kim Kelso, Mallory C. Kidwell, Seung Kyung Kim, Matthew Kirkhart, Bennett Kleinberg, Goran Kneževič.Franziska Maria Kolorz, Jolanda J. Kossakowski, Robert Wilhelm Krause, Job Krijnen, Tim Kuhlmann, Yoram K. Kunkels, Megan M. Kyc, Calvin K. Lai, Aamir Laique, Daniel Lakens,Kristin A. Lane, Bethany Lassetter, Ljiljana B. Lazarevič, Etienne P. LeBel, Key Jung Lee.Minha Lee, Kristi Lemm, Carmel A. Levitan, Melissa Lewis, Lin Lin, Stephanie Lin,Matthias Lippold, Darren Loureiro, Use Luteijn, Sean Mackinnon, Heather N. Mainard,Denise C. Marigold, Daniel P. Martin, Tylar Martinez, E.J. Masicampo, Josh Matacotta.Maya Mathur, Michael May, Nicole Mechin, Pranjal Mehta, Johannes Meixner, Alissa Melinger, Jeremy K. Miller, Mallorie Miller, Katherine Moore, Marcus Möschl, Matt Motyl, Stephanie M. Müller, Marcus Munafo, Koen I. Neijenhuijs, Taylor Nervi, Gandalf Nicolas, Gustav Nilsonne, Brian A. Nosek, Michěle B. Nuijten, Catherine Olsson,Colleen Osborne, Lutz Ostkamp, Misha Pavel, Ian S. Penton-Voak, Olivia Perna, Cyril Pernet, Marco Perugini, R. Nathan Pipitone, Michael Pitts, Franziska Plessow, Jason M. Prenoveau, Rima-Maria Rahal, Kate A. Ratliff, David Reinhard, Frank Renkewitz.Ashley A. Ricker, Anastasia Rigney, Andrew M. Rivers, Mark Roebke, Abraham M. Rutchick, Robert S. Ryan, Onur Sahin, Anondah Saide, Gillian M. Sandstrom, David Santos, Rebecca Saxe, René Schlegelmilch, Kathleen Schmidt, Sabine Scholz,Larissa Seibel, Dylan Faulkner Selterman, Samuel Shaki, William B. Simpson, H. Colleen Sinclair, Jeanine L. M. Skorinko, Agnieszka Slowik, Joel S. Snyder, Courtney Soderberg,Carina Sonnleitner, Nick Spencer, Jeffrey R. Spies, Sara Steegen, Stefan Stieger, Nina Strohminger, Gavin B. Sullivan, Thomas Talhelm, Megan Tapia, Anniek te Dorsthorst.Manuela Thomae, Sarah L. Thomas, Pia Tio, Frits Traets, Steve Tsang, Francis Tuerlinckx, Paul Turchan, Milan Valášek, Anna E. van't Veer, Robbie Van Aert, Marcel van Assen, Riet van Bork, Mathijs van de Ven, Don van den Bergh, Marije van der Hülst,Roel van Dooren, Johnny van Doom, Daan R. van Renswoude, Hedderik van Rijn, Wolf Vanpaemel, Alejandro Vásquez Echeverría, Melissa Vazquez, Natalia Velez, Marieke Vermue, Mark Verschoor, Michelangelo Vianello, Martin Voracek, Gina Vuu, Eric-Jan Wagenmakers, Joanneke Weerdmeester, Ashlee Welsh, Erin C. Westgate, Joeri Wissink,Michael Wood, Andy Woods, Emily Wright, Sining Wu, Marcel Zeelenberg, Kellylynn Zuni 11 CORE042 I Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Replikační krize v psychologii Estimating the reproducibility of psychological science - Původní velikost efektů: - Průměrná velikost účinku: Mr= 0,403; SD = 0,188 - Statistická signifikance: 97 % studií p < 0,05 - Replikovaná velikost efektů: - Průměrná velikost účinku: Mr= 0,197; SD = 0,257 - Statistická signifikance: 36 % studií p < 0,05 CD w 0.25 c o - Hodnota velikostí účinku z původních studií se nacházela v 95% intervalu spolehlivosti při replikaci v 47 % případů. p-value Not Significant Significant Replication Power • 0.6 o 0.7 O 0.8 O0.9 • 0.00 0.25 0.50 0.75 Original Effect Size 1.00 12 CORE042 I Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Sripada et al, (basis of protocol) 0.318 : 77Í Birt & Muise Catvillo & Mais Carruth & Miyake Crowell, Ftnley & Schmeichel Evans, Fay & l.losser Francis & In -licht Hagger, Chatzisarantis &Zweinenberg Lau 4 Brewer Lynch, vanDellen & Campbell Philipp & Cannon Ringos & Carlucci Brandt Cheung, Kroese, Fennis a de Rkider Elson Lange. Heise & Hoemann Muller, Zerhouni & Batailler Otgaar, Wartijn, Alberts, Michirev, Merckelbach & Howe Renlzsch, Malis & Schütz Schlinfcert, Schrama & Koole Stamos, Bruyneei a Dewitte Ullrich, Primoceri & Schoch Wolff, Uuzi & Brand Yusainy. Wimbarti, Hurwanti & Anggono 0.314 0.354 0.324 0.315 0.326 0.301 0.32 0.323 0.337 0.309 0.332 0.284 0.311 0.299 : jsi 0.344 0.27B 0.2B2 0.315 0.3 0.291 0.33 0.2S7 0.294 0.324 0.332 029 0.349 0.317 032 0.307 0.307 0.312 0.301 0292 0.308 0296 0296 0 381 0.308 0293 0.315 0.309 0.285 0.3 0.272 0.68 [ 0.09. 1.27] Meta-analytic effect for replications only -1.00 I i i -0.S0 0.00 0.50 Standardized Mean Difference 1.00 1.50 Hagger, M. S., et al. (2016). A Multilab Preregistered Replication of the Ego-Depletion Effect. Perspectives on Psychological Science, 11(4), 546-573. https://doi.org/10.1177/1745691616652873 14 CORE042 I Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS 0,31 [-0.20 0.44 [-0.02 -0.09 [-0.45 0.40 [-0.07 -0 27 [-0 69 -0.18 [-0.74 0.00 [-0.39 0.20 [ -0.20 0.36 [-0.09 -0.04 [-0.49 0.50 [ 0.01 -0.11 [-0.50 0.04 [-0.25 0.04 [-0.37 -0.23 [-0.61 -0,51 [ -0.97 -0.41 [-0.91 -0.18 [-0.57 0.001-0.44 -0.121-0.53 0 091-0.29 0.46 [ 0.03 0 22 [-0.10 , 0.831 , 0.90 I , 0.261 , 0.861 , 0.15] , 0.37] , 0.39] , 0.60] , 0.80] , 0.41 I , 0.98] , 0.28] , 0.33] , 0.46] , 0.15] ,-0.05 ] , 0.09] , 0.21 ] , 0.44] , 0.29] . 0.48] . D.SS ] , 0.53] 0.04 [-0.07. 0.14] 0 UÍJ I Dishonest report: vol. 1 (2012) 2012: prominentní článek Dan Ariely a Francesca Gino a kol. Číslo editoval Daniel Kahmenan - Shu, L.L., Mazar, N., Gino, F., Ariely, D., & Bazerman, Max. H. (2012). Signing at the beginning makes ethics salient and decreases dishonest self-reports in comparison to signing at the end. PNAS, 109(38), 15197-15200. https://doi.org/10.1073/pnas. 1209746109 Článek obsahoval 3 studie: - 1 a 2: Laboratorní experimenty. - 3: Terénní experiment. SIGN AT THE BOTTOM Shu stal. 10.1073V|Kiai. 1109746109 F«mí3(l5 ^.■.rríi ■.- IVíia.i r.TSdrt Write Clearly Research Study Tax Return Fur 4* period June L. MJO. Juvjh Aviuti 30. J0II1 4 11 .1. t: s»cr1 .....■: Qty,SfekulZira4 Oulll liJOI.. j Ittiit lllLuil ihr LurJiin» UJ _-j 111 p u: _ ■■iiurümcd piymCrL I.Asm car r Ji.. _ .. v. <:•. > .1 : .■ 1.. p.: .v.: .l. 1 1. .'.J .. v l l ľw.n puirrcil flow wkr iv rqYpeJn; of 4 JÍSä pt vor pgjiml h r. H n*-™ mp dn hm Pclieipwilr will h? crcľranuleg far pln éi|*rue* Ihn hmn; inciimd m lr» p^ir^íile in Ihix jlijrjy. |n Port 2, yíiu irr ĽLtJ lú ĽSliirĽĽ: dittiHE iiVufctdl in úidt líř |iinitŕfulŕ. Tliíit itfilS WÜllbc dedil:icd fŕiiii yinll ESA itUťiL rk fii t kftuj íl: I* Yhi*iI e« tentaiuied ľ lUpefuru;.^ ti: 1 FlSM PT-Tílt B! hu iYl Jttf 30717ii!, ľ 1.1», U Lľflt IDtff j b. V« ".I heCrrnptfOlM Ľl I] in vi -í irJ -hc tJu i-pccifiEd ir I™ J............................. I Hť.-v.-ť:iiiin.v. i.r:'mI pjj'i-f I PIok mli Uk ;-liix bjaiíiaj ii hu. ] -iJ Lfc Yjbc iftŕiľii ti Ew.4. ľ piMTír: fw ncofi Kam..................._..............._................. Sign Fit« Ffcj. S1. Tin r«m usri In t^tiiv*« i. difriflťt« *t búiuivi cwdkm. 15 CORE042 I Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS Form 3305 1:ť ľ i ľ -ir ; í n K ?ci- rŕ-1 rm ií:jt : J íiy y- if( r.11 11 (--.-■ -jí j ■: - ■ í- i: ■ ''ujlíii i.lurnbtr. rĽW. iiJ run jí i jí rubil (irr ü«.■fl/lfPiti I .-J. Iii, ■.-t' ■■■ ■ ■ ■. :. |- ;■ .i :.l: ^: .i Ertrdir rijrreii ytjut hre Tctum. :. nix ■ - :. ůe an ü tfÍ tö: rü ,.t( ii.jj "i ]. PVur [jjni.f q e ml níypríímniLf. imy. In :4a r jn Die Lab. Im >fl «[Hnpnakd up Id :■. FlobE J:-.f..i.j: ľ r'cr-^ ..YTTipiic ViirliRül píATK-r UNI Dishonest report: vol. 2 (2021) This is Table 1 in Kristal et al. (2020), reporting their re-analysis of Shu et al. (2012) Sign-at-the-bottom, Sign-at-the-top, means (SD) means (SD) Two-sided t test, values Baseline odometer reading (f0) New odometer reading (f1) Difference in odometer readings; i.e., miles driven (t1-(0)* 75,034.50 (50,265.35) 98,705.14 (51,934.76) 23,670.64 (12,621.38) 59,692.71 (49,953,51) 85,791.10 (51,701.31) 26,098.40 (12,253.37) f(u.47i) ■ 17.78, P < 0.0001 ((13.175)= 14.47, P< 0.0001 t[u.4«) = -11.331, P < 0.0001 'This row was the outcome reported in the original paper. Figure 1. Histogram of Miles Driven - Car #1 (N=13,488) Simonsohn, U., Nelson, L, & Simmons, J. (August 17, 2021). Evidence of Fraud in an Influential Field Experiment About Dishonesty. Data Colada (98). https://datacolada.org/98 600 500 >% 400 5 c 3 300 o~ LL 200 100 nn All values from 0 to 50.000 are equally common. There are no values greater than 50.000 -1-1-1-1-1-1-1-1-1-1 10000 20000 30000 40000 50000 60000 70000 80000 90000 100000 Implied Miles Driven (Time 2 Mileage - Time 1 Mileage) O <5 it o »- 6% o f 4% 8 £ 2% Figure 3. Last Three Digits at Baseline (Time 1} vs Updated (Time 2) There is Rounding in Baseline Mileage • Multiple of 100 * Ottier numbers 10.»*ofv»m« •nd If 'MO 1 0\, of value* mrn'MO' I 500 ; Last i digits lAIICtrsiN'20,741) There is NO Rounding in Updated Mileage a% 5 ■,: 1% 2% 0% - • Multiple of 100 * Other numbers : :y -.a -ea Z 12 .3 jes •rw m 100 $500,000/year, participants were adult humans, and the primary outcome was cardiovascular risk, disease or death. [...] The number NHLBI trials reporting positive results declined after the year 2000. Prospective declaration of outcomes in RCTs, and the adoption of transparent reporting standards, as required by clinicaltrials.gov, may have contributed to the trend toward null findings." Kaplan, R.M., Irvin, V.L. (2015). Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time. PLoS ONE 10(8). https://doi.org/10.1371/iournal.pone.0132382 19 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UN I Replikační krize není jen v psychologii Medicína (výzkum rakoviny) - Reproducibility project: Cancer Biology (2021) - https://www.cos.io/rpcb - 193 navržených replikací celkem 53 preklinických studií z let 2010-2012. -Výsledky: - Realizace 50 replikací 23 článků (nedostatek informací, nespolupráce). - Jen 46 % efektů bylo replikovaných. - Velikost efektu o 85 % nižší. 2% experiments with open data o% of protocols completely described Oy REPRODUCIBILITY PROJECT Cancer Biology O of experiments required asking for key reagents of experiments needing a key reagent original authors were willing to share 32% 41% of experiments the original authors were not helpful (or unresponsive) of experiments the original authors were very he pful O required modifications to complete 41% of modifications completely implemented 20 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Replikační krize není jen v psychologii Populační genetika (rybaření v datech pomocí analýzy hlavních komponent) - Elhaik, E. (2022). Principal Component Analyses (PCA)-based findings in population genetic studies are highly biased and must be reevaluated. Scientific Reports 72(14683). https://doi.orq/10.1038/s41598-022-14395-4 - "Our findings raise concerns about the validity of results reported in the population genetics literature and related fields that place a disproportionate reliance upon PCA outcomes and the insights derived from them. We conclude that PCA may have a biasing role in genetic investigations and that 32,000-216,000 genetic studies should be reevaluated." 21 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS U Shrnutí klíčových termínů - Reproducibility (reprodukovatelnost) - "Researcher B must have the following: (a) the raw data; (b) the code book (variable names and labels, value labels, and codes formissing data); and (c) knowledge of the analyses that were performed by Researcher A (e.g. the syntax of a statistics program)." - Replicability (replikovatelnost) - "The finding can be obtained with other random samples drawn from a multidimensional space that captures the most important facets of the research design. In psychology, the facets typically include the following: (a) individuals (or dyads or groups); (b) situations (natural or experimental); (c) operationalizations (experimental manipulations, methods, and measures); and (d) time points." - Generalizability (zobecnitelnost) - "It does not depend on an originally unmeasured variable that has a systematic effect. In psychology, generalizability is often demonstrated by showing that a potential moderator variable has no effect on a group difference or correlation." 22 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UIJ I Deset let replikační krize -Změna paradigmatu a pohledu na celou krizi -Replikační krize —» krize důvěryhodnosti/zobecnitelnosti - replication crizis - reproducibility crizis - replicability crizis - generalizability crizis - credibility crisis CORE042 I Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS Co dnes víme? Replikovatelnost efektu je důsledkem efektu, nikoli intervenujících proměnných. - Many Labs 1 (2014): Jazyk či konkrétní laboratoř nemá vliv. - Many Labs 2 (2018): Charakteristiky laboratoře nemají vliv. Některé efekty se liší napříč populacemi více, jiné méně. - Many Labs 3 (2016): Výsledky na studentských populacích vycházejí stejně v průběhu roku (např. semestr vs. zkouškové). - Many Labs 4 (2022): Účast původního autora nemá vliv. - Many Labs 5 (2020): Úpravy výzkumného protokolu nemají vliv. - "After 10 Years, 'Many Labs' Comes to an End - But Its Success Is Replicable" - https://news.virqinia.edu/content7after-10-vears-manv-labs-com 24 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I PROČ? 25 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Příčiny replikační krize Jediná příčina neexistuje - Předmětem výzkumu od samého počátku krize. -Často se uvádí: - Metodologické a statistické důvody, tzv. QRP. - „Publish or perish", tlak na publikování. - Publikační zkreslení. - Netransparentnost výzkumu, omezené sdílení výsledků. - Vliv médií a politiky na šíření poznatků. - A mnoho dalších... 27 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UNI Metodologické příčiny replikační krize NHST - testování statistických hypotéz -Ve většině výzkumů se používá statistické testování. - Null hypothesis significance testing, NHST. (Což je celé dost pochybná směs Fisherova + Neymanova-Personova postupu.) -Chyba I. typu: pravděpodobnost falše positive. - Hladina spolehlivosti a - „přijatelná" pravděpodobnost falešně pozitivního výsledku. - Pravděpodobnost pozorování stejných nebo „extrémnějších" dat, pokud platí H0: p = (data|H0). - Například „průměr skupin se liší, p = 0,02": Stejný nebo větší rozdíl průměru bychom pozorovali jen ve 2 % stejně velkých vzorků, pokud by se populační průměry nelišily. -Chyba II. typu: pravděpodobnost falše negative. - Souvisí se silou testu velikostí vzorku N, a zvolenou hladinou spolehlivosti a. - Pravděpodobnost, s jakou bude p = P(p > a|/V, d), pokud je skutečný efekt roven d. 28 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS MUÍJ I Metodologické příčiny replikační krize Pochybné praktiky ve výzkumu (Questionnable Research Practices, QRP) Questionable Research Practices OK 1. Not reporting "failed" studies. 83% 2. Not reporting DVs if not significant 92% 3. Not reporting Conditions that "did not work" 89% 4. Excluding data based on effect on p-value. 81% 5. Stopping data collection when significant. 89% 6. Reporting unexpected results "as predicted" 75% (John, Loewenstein, & Prelec, 2012) Table I. Likelihood of Obtaining a False-Positive Result Significance level Researcher degrees of freedom p < .05 p<,0l Situation A: two dependent variables (r = .SO) I 7.8% 9.5% 2.2% Situation B: addition of ID more observations 14.5% 7.7% 1.6% per cell Situation C: controlling for gender or interaction 21.6% 1 1.7% 2.7% of gender with treatment Situation D: dropping (or not dropping) one of 23,2% 12.6% 2.8% three conditions Combine Situations A and B 26.0% 14.4% 3.3% Combine Situations A, B.and C 50.9% 30.9% 8.4% Combine Situations A, B, C.and D 81.5% 60.7% 21.5% (Simmons, Nelson, & Simonsohn, 2011) 29 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Metodologické příčiny replikační krize Špatná praxe při měření psychických charakteristik v sociálních vědách -Lilienfeld, S. O., & Strother, A. N. (2020). Psychological measurement and the replication crisis: Four sacred cows. Canadian Psychology, 67(4), 281-288. https://doi.orq/10.1037/cap0000236 - Spoléhání se na název měřicí škály při posouzení obsahové validity. - Nízká reliabilita (přesnost měření) v laboratorních experimentech. - Vysoká náročnost sběru dat opravňuje využití malého vzorku respondentů. - Konvergentní validita je postačujícím důkazem konstruktové validity (přehlížení divergentní validity). 30 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UIJ I Metodologické příčiny replikační krize 20 19 1H 17 16 15 14 £ 13 0) 12 I 11 í 10 Q. g LU 8 I (A) Subjects modeled as fixed •H M« RotJbcry video ■ 20 rr»r\j:es ■ WnTe oesciptton of si z( unfr «s crff: :als Verbal overshadowing (Schooler & Schooler, 1990). Replikace: Schooler (2011), multilab RRR Alogna et al. (2014). 31 CORE042 I Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS Špatná praxe při měření psychických charakteristik v sociálních vědách - Replikační krize —► krize zobecnitelnosti (Yarkoni, 2022) - Náhodných vs. pevné efekty. - Experimentální podmínky jsou jen „výběrem" z univerza všech možných. Lif»eup loonrtcalion 1 lVtii re&oonw • (B) Subjects modeled as random ?o 19 18 17 16 15 14 13 12 11 10 9 8 / R -0.2 0.0 0.2 0.4 0.6 0.8 1.0 Estimated S troop effect 1.2 and generalization intention. Each row represents nly drawn from the same global population (the Bars display the estimated Bayesian 95% highest of interest in eaoh experiment. Experiments are A) The fixed-effects model specification in Eq. (1) Lnderestimates the uncertainty associated with the .akes subject sampling into account, and produces UNI Kudy z toho ven? 32 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Jak řešit replikační krizi? Velká řada zdrojů - Bosma, C. M., & Granger, A. M. (2022). Sharing Is Caring: Ethical Implications of Transparent Research in Psychology. American Psychologist, 77(4), 565-575. https://doi.orq/10.1037/amp0001002 - Asendorpf, J. B., Conner, M., De Fruyt, F., De Houwer, J., Denissen, J. J. A., Fiedler, K., Fiedler, S., Funder, D. C, Kliegl, R., Nosek, B. A., Perugini, M., Roberts, B. W., Schmitt, M., van Aken, M. A. G., Weber, H., & Wicherts, J. M. (2013). Recommendations for Increasing Replicability in Psychology. European Journal of Personality, 27(2), 108-119. https://doi.orq/10.1002/per. 1919 33 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Jak řešit replikační krizi? Po odhlédnutí od ryze metodologických a statistických postupů Transparence vědeckého bádání -od prvotního záměru - přes analýzy - interpretaci výsledků - publikaci zjištěni -až po sdílení dat. 34 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Jak řešit replikační krizi? Best Practices Při plánování studie | primárně replikovatelnost - HARKing: Hypothesizing After the Results are Known - Řešení: Preregistrace studie. - Např. OSF Framework: https://osf.io/reqistries - Ale řada dalších šablon. - Přesný popis designu studie a celé metodologie. - Snaha omezit tzv. „stupně volnosti výzkumníka", tedy (byť nezáměrně) zkreslit výsledky. - Příklady dvou preregistrací: - Cígler, H., Tancoš, M., & Fikrlová, J. (2021, November 8). Assessment of the effectiveness of the Dobronauti prevention program: Back in time. https://doi.org/10.17605/OSF.IO/9HZYC - Palisek, P., & Cígler, H. (2018, May 9). Quantitative Research of Cognitive Heuristics in Czech Judges' Decision-Making Based on the Theory of Gerd Gigerenzer. https://doi.org/10.17605/OSF.IO/72BXN 35 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Jak řešit replikační krizi? Best Practices ^ Při sběru dat | primárně replikovatelnost -A 21 Word Solution - Simmons, J., Nelson, L, & Simonhsohn, U. (2012): http://users.stat.umn.edu/-rend0020/Teachinq/STAT8801-resources/docs/falsepositivepsvcholoqv2.pdf - "We report how we determined our sample size, all data exclusions (if any), all manipulations, and all measures in the study/' 36 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Jak řešit replikační krizi? Best Practices & Při zpracování dat | replikovatelnost a reprodukovatelnost -A 21 Word Solution - Simmons, J., Nelson, L, & Simonhsohn, U. (2012): http://users.stat.umn.edu/-rend0020/Teachinq/STAT8801-resources/docs/falsepositivepsvcholoqv2.pdf - "We report how we determined our sample size, all data exclusions (if any), all manipulations, and all measures in the study/' 37 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UIJ I Jak řešit reolikační krizi? Best Practices Při analyzování dat | re p rod u kováte I n ost, replikovatelnost i zobecnitelnost - Různé analýzy vedou k rozdílným možnostem zobecnitelnosti. - Yarkoni, T. (2022). The generalizability crisis. Behavioral and Brain Sciences, 45, el https://doi.orq/10.1017/S0140525X20001685 - Důležité je: - Zajistit reprodukovatelnost zjištění. Sdílení analytických kódů atd. (R, ale i SPSS aj.). - Design analýz adekvátně vzhledem k interpretačnímu cíli. Přiměřená míra komplexity analýz (např. t-test vs. strukturní smíšený model). 38 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS MUNI Jak řešit replikační krizi? Best Practices & Při uchování dat | reprodukovatelnost, replikovatelnost i zobecnitelnost - Různé analýzy vedou k rozdílným možnostem zobecnitelnosti. - Yarkoni, T. (2022). The generalizability crisis. Behavioral and Brain Sciences, 45, el https://doi.orq/10.1017/S0140525X20001685 - Důležité je: - Zajistit reprodukovatelnost zjištění. Sdílení analytických kódů atd. (R, ale i SPSS aj.). - Design analýz adekvátně vzhledem k interpretačnímu cíli. Přiměřená míra komplexity analýz (např. t-test vs. strukturní smíšený model). 39 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Jak řešit replikační krizi? Best Practices Při sdílení dat | reprodukovatelnost, replikovatelnost i zobecnitelnost -Sdílení výzkumného výsledku (např. článku). - Zajištění zobecnitelnosti výsledku. Adekvátní interpretace, nezkreslení zjištění. -Sdílení výzkumného postupu (laboratorní protokol atp.) - Zajištění reprodukovatelnosti postupu. - Sdílení výzkumných dat. - Ověřitelnost výsledků, znovupoužití a jiná využití dat. -Sdílení analytického skriptu. - Reprodukovatelnost postupu. -Sdílení dalších informací. - Např. veřejná preregistrace: zajištění replikovatelnosti. 40 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I Reu: 'Lan Share Preserve Process Analyse A znovupoužití dat je pak jen příjemným důsledkem všech předchozích kroků © UfJ I Take home message - Replikační krize není známka toho, že věda nefunguje. Naopak jde o sebekorektivní mechanismus. - Klíčovým požadavkem na dnešní vědu je transparence. -A nejde jen o sdílení dat; jde o transparenci celé vědecké metody. 42 CORE042 | Poučení z „krize důvěryhodnosti" v psychologické vědě | Hynek Cígler | FSS UÍJ I