Inter-rater (dis)agreement: Validity of projective methods

ŠAFÁROVÁ, Katarína and Tomáš URBÁNEK. Inter-rater (dis)agreement: Validity of projective methods. In mezinárodní konferenci Ψ50. 2017.

Basic information

• Original name: Inter-rater (dis)agreement: Validity of projective methods
• Name in Czech: (Ne)shoda posuzovatelů: Validita projektivních metod
• Authors: ŠAFÁROVÁ, Katarína and Tomáš URBÁNEK.
• Edition: mezinárodní konferenci Ψ50, 2017.

Other information

• Original language: English
• Type of outcome: Presentations at conferences
• Field of Study: 50100 5.1 Psychology and cognitive sciences
• Country of publisher: Czech Republic
• Confidentiality degree: is not subject to a state or trade secret
• Organization unit: Faculty of Arts
• Keywords (in Czech): projektivní metody; validita; přiřazování; shoda posuzovatelů; Fleissova kappa
• Keywords in English: projective methods; validity; matching technique; inter-rater agreement; Fleiss kappa

Abstract

Projective metods are commonly used in Czech republic as an auxiliary diagnostic tool. But they are often criticised for their lack of validity and reliability. This study is part of diseratation thesis and study design was based on matching technique. Participants – psychologists (N=132) had to match projective material to personality descriptions of 6 children with different psychiatric diagnoses. Projective material had been creat ed from 6 pictures of The Fantasy Animal Game (TFAG) method, 6 stories which belongs to TFAG and 6 pictures of The Tree Test. Every psychologist judged every one of 18 pictures and stories. We computed Fleiss kappa (κ=0,096), that is considerd as a slight agreement. We also computed agreement for each picture and story separately. There was substantial agreement (0,64) in only one story. Remaining values ranged from 0,17 to 0,38. We also present percentage extent of right answers (matches) and percentage of certainty denoted by psychologist themselves.

Abstract (in Czech)

V České republice jsou projektivní metody běžně používané jako doplňkové diagnostické metody. Jsou však také často kritizované pro svoji nízkou validitu a reliabilitu. Tato studie je součástí dizertační práce a výzkumný design byl navržen na základě techniky přiřazování. Úkolem participantů – psychologů (N=132) bylo přiřazení projektivního materiálu k jednomu z šesti popisků dětí s rozdílnou psychiatrickou diagnózou. Projektivní materiál byl tvořen šesti obrázky metody Začarované zvíře (The Fantasy Animal Game), dále šesti příběhy napsanými k obrázkům začarovaných zvířat a šesti obrázky stromů (Test stromu). Každý psycholog hodnotil každý z 18 o brázků a příběhů. Vypočítali jsme celkovou Fleissovou kappu (κ=0,096), jejíž hodnota svědčí o nepatrné shodě mezi posuzovateli. Také jsme spočetli shodu pro jednotlivé obrázky a příběhy. Výraznější shoda (0,64) se však objevila pouze u jednoho příběhu. Zbylé hodnoty se pohybovaly v rozmezí od 0,17 do 0,38. V příspěvku budeme také prezentovat procento správných odpovědí pro jednotlivé odpovědi (přiřazení) a procento jistoty, které uváděli psychologové u každého podnětu.