Reanalýza testu DISMAS: reliabilita a obsahová validita

CÍGLER, Hynek, Jan ŠIRŮČEK, Pavel TRASPE a Ivana SKALKOVÁ. Reanalýza testu DISMAS: reliabilita a obsahová validita. E-psychologie. Českomoravská psychologická společnost, 2016, roč. 4, č. 10, s. 24-46. ISSN 1802-8853.

Základní údaje

• Originální název: Reanalýza testu DISMAS: reliabilita a obsahová validita
• Název anglicky: Reanalyzing the Dismas Test: Reliability and Content Validity
• Autoři: CÍGLER, Hynek (203 Česká republika, garant, domácí), Jan ŠIRŮČEK (203 Česká republika, domácí), Pavel TRASPE (203 Česká republika) a Ivana SKALKOVÁ (203 Česká republika).
• Vydání: E-psychologie, Českomoravská psychologická společnost, 2016, 1802-8853.

Další údaje

• Originální jazyk: čeština
• Typ výsledku: Článek v odborném periodiku
• Obor: 50100 5.1 Psychology and cognitive sciences
• Stát vydavatele: Česká republika
• Utajení: není předmětem státního či obchodního tajemství
• WWW: URL
• Kód RIV: RIV/00216224:14230/16:00093670
• Organizační jednotka: Fakulta sociálních studií
• Klíčová slova česky: DISMAS; CFA; konfirmační faktorová analýza; DIF, obsahová analýza; reanalýza
• Klíčová slova anglicky: DISMAS; CFA; confirmatory factor analysis; DIF; content validity; reanalysis
• Příznaky: Recenzováno

Anotace

Cílem textu je reanalýza testu Diagnostika struktury matematických schopností (Traspe a Skalková, 2013), který slouží k zjišťování obtíží v rozvoji matematických schopností u dětí ve věkovém rozmezí od doby těsně před nástupem do základní školy až do pátého ročníku. Test obsahuje 14 vývojových škál a celkové skóry, celkem je k dispozici 22 škál s percentilovými normami. Tato studie pracuje se standardizačním (N = 878) a poradenským (N = 877) vzorkem a zaměřuje se na tři hlavní témata: (1.) ověření reliability součtových skórů prostřednictvím stratifikovaného Cronbachovo alfa, ověření obsahové validity testu a jeho férovosti pomocí (2.) série konfirmačních faktorových analýz a (3.) analýzy diferenciálního fungování položek (DIF). Odhady reliability se zohledněním vícedimenzionální struktury součtových skórů docílily až dvakrát (v případě celkového skóre až třikrát) menších standardních chyb měření a tedy i intervalů spolehlivosti. Strukturní modely podpořily předpoklad slabé faktorové invariance u dětí v 2.–5. ročníku ZŠ vyjma subtestu automatizace početních dovedností (jehož vztah s celkovými matematickými schopnostmi vzrůstá spolu s věkem dětí), faktorová struktura pro žáky prvních tříd a předškolní děti je nicméně odlišná a v poradenské populaci pak nelze identifikovat žádné stabilní faktory. Ukázalo se ale také, že subtest matematické pojmy lze samostatně použít u běžné populace pro kratší skríning celkové úrovně matematických schopností. Jednotlivé škály se pak během analýzy DIF ukázaly být ne zcela invariantní napříč ročníky i oběma vzorky: zdá se tedy, že nižší skóre v testu nemusí znamenat jen „kvantitativně nižší“ míru schopností v příslušných rysech, ale do jisté míry též kvalitativní odlišnosti od běžné populace. Článek poskytuje konkrétní doporučení pro další používání testu v běžné diagnostické praxi.

Anotace anglicky

The goal of this paper is the reanalysis of the Czech “Assessment of the structure of mathematical abilities” test (Traspe and Skalková, 2013), designed to assess problems related to the development of mathematical abilities in children aged approx. 5–11 years. The test contains 14 developmental scales and total scores – a total of 22 test scores with percentile norms. This study uses normative (N = 878) and clinical (N = 877) samples and focuses on three objectives: (1.) the estimation of composite scores reliability using stratified Cronbach's alpha; assessment of content validity and test fairness using (2.) a series of confirmatory factor analyses and (3.) differential item functioning analysis (DIF). Reliability estimates, which took into account the multidimensional structure of composite scores, led to a two-fold (in the case of total score, a three-fold) decrease in standard errors and narrower confidence intervals. Structural models supported the assumption of a weak factorial invariance between grades 2 to 5, except the Computing Automation subtest (the relationship of which with overall math ability strengthens with age). However, the factorial structures for first graders and younger children were different and there was no clear factor structure in the clinical sample. Results also suggested that the Mathematical Ideas subtest can serve as a screening method of the overall level of mathematical abilities. Single scales were not shown to be invariant according to the DIF analyses between grades and samples, which might mean that lower scores do not simply imply lower levels of mathematical ability, but also qualitative differences. This paper offers further recommendations for test use in common assessment situations.