Inter-rater (dis)agreement: Validity of projective methods

ŠAFÁROVÁ, Katarína a Tomáš URBÁNEK. Inter-rater (dis)agreement: Validity of projective methods. In mezinárodní konferenci Ψ50. 2017.

Základní údaje

• Originální název: Inter-rater (dis)agreement: Validity of projective methods
• Název česky: (Ne)shoda posuzovatelů: Validita projektivních metod
• Autoři: ŠAFÁROVÁ, Katarína a Tomáš URBÁNEK.
• Vydání: mezinárodní konferenci Ψ50, 2017.

Další údaje

• Originální jazyk: angličtina
• Typ výsledku: Prezentace na konferencích
• Obor: 50100 5.1 Psychology and cognitive sciences
• Stát vydavatele: Česká republika
• Utajení: není předmětem státního či obchodního tajemství
• Organizační jednotka: Filozofická fakulta
• Klíčová slova česky: projektivní metody; validita; přiřazování; shoda posuzovatelů; Fleissova kappa
• Klíčová slova anglicky: projective methods; validity; matching technique; inter-rater agreement; Fleiss kappa

Anotace

Projective metods are commonly used in Czech republic as an auxiliary diagnostic tool. But they are often criticised for their lack of validity and reliability. This study is part of diseratation thesis and study design was based on matching technique. Participants – psychologists (N=132) had to match projective material to personality descriptions of 6 children with different psychiatric diagnoses. Projective material had been creat ed from 6 pictures of The Fantasy Animal Game (TFAG) method, 6 stories which belongs to TFAG and 6 pictures of The Tree Test. Every psychologist judged every one of 18 pictures and stories. We computed Fleiss kappa (κ=0,096), that is considerd as a slight agreement. We also computed agreement for each picture and story separately. There was substantial agreement (0,64) in only one story. Remaining values ranged from 0,17 to 0,38. We also present percentage extent of right answers (matches) and percentage of certainty denoted by psychologist themselves.

Anotace česky

V České republice jsou projektivní metody běžně používané jako doplňkové diagnostické metody. Jsou však také často kritizované pro svoji nízkou validitu a reliabilitu. Tato studie je součástí dizertační práce a výzkumný design byl navržen na základě techniky přiřazování. Úkolem participantů – psychologů (N=132) bylo přiřazení projektivního materiálu k jednomu z šesti popisků dětí s rozdílnou psychiatrickou diagnózou. Projektivní materiál byl tvořen šesti obrázky metody Začarované zvíře (The Fantasy Animal Game), dále šesti příběhy napsanými k obrázkům začarovaných zvířat a šesti obrázky stromů (Test stromu). Každý psycholog hodnotil každý z 18 o brázků a příběhů. Vypočítali jsme celkovou Fleissovou kappu (κ=0,096), jejíž hodnota svědčí o nepatrné shodě mezi posuzovateli. Také jsme spočetli shodu pro jednotlivé obrázky a příběhy. Výraznější shoda (0,64) se však objevila pouze u jednoho příběhu. Zbylé hodnoty se pohybovaly v rozmezí od 0,17 do 0,38. V příspěvku budeme také prezentovat procento správných odpovědí pro jednotlivé odpovědi (přiřazení) a procento jistoty, které uváděli psychologové u každého podnětu.