a 2016

Replikovatelnost českého psychologického výzkumu

GABRHEL, Vít, Hynek CÍGLER, Jaroslav GOTTFRIED, Stanislav JEŽEK, Karolína BERNATOVÁ et. al.

Basic information

Original name

Replikovatelnost českého psychologického výzkumu

Name (in English)

Replicability of the Czech Psychological Research

Authors

GABRHEL, Vít (203 Czech Republic, guarantor, belonging to the institution), Hynek CÍGLER (203 Czech Republic, belonging to the institution), Jaroslav GOTTFRIED (203 Czech Republic, belonging to the institution), Stanislav JEŽEK (203 Czech Republic, belonging to the institution), Karolína BERNATOVÁ (203 Czech Republic, belonging to the institution), Hana BLAŽKOVÁ (203 Czech Republic, belonging to the institution), Kitti FARKASOVÁ (703 Slovakia, belonging to the institution), Svetlana FARKAŠOVÁ (703 Slovakia, belonging to the institution), Edita CHVOJKOVÁ (203 Czech Republic, belonging to the institution), Anna JANŮ (203 Czech Republic, belonging to the institution), Lenka KNAPOVÁ (203 Czech Republic, belonging to the institution), Tomáš KRATOCHVÍL (203 Czech Republic, belonging to the institution), Vojtěch MÝLEK (203 Czech Republic, belonging to the institution), Ondřej NOVÁK (203 Czech Republic), Petr PALÍŠEK (203 Czech Republic, belonging to the institution), Kateřina PRACHAŘOVÁ (203 Czech Republic, belonging to the institution), Karel REČKA (203 Czech Republic, belonging to the institution), Anna Marie ROSICKÁ (203 Czech Republic, belonging to the institution), Tomáš RUDECKÝ (203 Czech Republic, belonging to the institution), Šmejkalová KLÁRA (203 Czech Republic) and David VAŠEK (203 Czech Republic, belonging to the institution)

Edition

Psychologické dny 2016, 2016

Other information

Language

Czech

Type of outcome

Konferenční abstrakt

Field of Study

50100 5.1 Psychology and cognitive sciences

Country of publisher

Czech Republic

Confidentiality degree

není předmětem státního či obchodního tajemství

RIV identification code

RIV/00216224:14230/16:00090991

Organization unit

Faculty of Social Studies

Keywords (in Czech)

replikovatelnost výzkumu; kvalita výzkumu; R-index

Keywords in English

replicability; research quality; R-index
Změněno: 10/2/2021 15:08, Mgr. Hynek Cígler, Ph.D.

Abstract

V originále

Východiska: Bezdíček, Preiss a Dočkalová (2009) a Preiss a Mačudová (2012) sledovali počet publikací českých docentů a profesorů psychologie a zhodnotili ji jej jako nedostatečný – samotné množství publikací však neříká nic o jejich kvalitě. Jedním z ukazatelů kvality výzkumu je jeho replikovatelnost, která je přitom jedním z nosných témat současné světové psychologie. Ukazuje se totiž, že přinejmenším část psychologického výzkumu replikovatelná není (zejm. Open Science Collaboration, 2015; Klein a kol., 2016) a že nalezené efekty ve skutečnosti neexistují. Naopak efekty, které existují, mohou zůstat skryty v důsledku špatně naplánovaného výzkumu a nízké síly testů. Cíle: Představíme statistické postupy pro odhad replikovatelnosti výzkumu a aplikujeme je na české psychologické publikace. Soubor: Vzorek byl náhodně vybrán ze všech českých časopiseckých publikací indexovaných na Web of Science, u nichž bylo možné získat full-text a které testovaly alespoň jednu hypotézu. Ke každé publikaci byly dohledány údaje o autorech (počet publikací, citovanost aj.). Metody: V každé publikaci jsme identifikovali hlavní hypotézy a zaznamenali reportované statistiky. Na jejich základě jsme odhadli replikovatelnost těchto studií pomocí několika různých statistických testů, a to jak pro celý soubor dohromady, tak i zvlášť podle počtu publikací autorů a dalších ukazatelů. Výsledky: Výsledky popisují replikovatelnost českého psychologického výzkumu. Zároveň ukazujeme souvislosti mezi publikační aktivitou autora a replikovatelností jeho výzkumu.

In English

Background: Bezdíček, Preiss and Dočkalová (2009) and Preiss and Mačudová (2012) rated the number of publications of Czech academics (professors and associate professors) and evaluated it as insufficient– however, the number of publications says nothing about their quality. One indicator of research quality is its replicability, which is one of the main topics in the present psychology science. It has been shown that at least part of psychological research is not replicable (e.g. Open Science Collaboration, 2015; Klein et al., 2016) and some of the published psychological effects actually do not exist. On the contrary, some effects can remain hidden due to poor research and underpowered design. Objectives: We introduce statistical methods to estimate the replicability of research and apply them to the Czech psychological publications. Sample: The sample was randomly selected from all Czech journal publications indexed on the Web of Science, where it was possible to get a full-text and which tested at least one hypothesis. For each publication, we search their authors and publication impact (number of publications, their citation etc.). Method: In each publication, we identified the main hypotheses and reported statistics. Then we estimated the replicability of these studies using several different statistical tests, both for the whole set and also stratified by the authors and other indicators. Results: The results describe the replicability of the Czech psychological research. We also show the relationship between authors’ publication activity and replicability of their research.

Files attached