Reanalýza testu DISMAS: reliabilita a obsahová validita

CÍGLER, Hynek, Jan ŠIRŮČEK, Pavel TRASPE and Ivana SKALKOVÁ. Reanalýza testu DISMAS: reliabilita a obsahová validita (Reanalyzing the Dismas Test: Reliability and Content Validity). E-psychologie. Českomoravská psychologická společnost, 2016, vol. 4, No 10, p. 24-46. ISSN 1802-8853.

Basic information

• Original name: Reanalýza testu DISMAS: reliabilita a obsahová validita
• Name (in English): Reanalyzing the Dismas Test: Reliability and Content Validity
• Authors: CÍGLER, Hynek (203 Czech Republic, guarantor, belonging to the institution), Jan ŠIRŮČEK (203 Czech Republic, belonging to the institution), Pavel TRASPE (203 Czech Republic) and Ivana SKALKOVÁ (203 Czech Republic).
• Edition: E-psychologie, Českomoravská psychologická společnost, 2016, 1802-8853.

Other information

• Original language: Czech
• Type of outcome: Article in a journal
• Field of Study: 50100 5.1 Psychology and cognitive sciences
• Country of publisher: Czech Republic
• Confidentiality degree: is not subject to a state or trade secret
• WWW: URL
• RIV identification code: RIV/00216224:14230/16:00093670
• Organization unit: Faculty of Social Studies
• Keywords (in Czech): DISMAS; CFA; konfirmační faktorová analýza; DIF, obsahová analýza; reanalýza
• Keywords in English: DISMAS; CFA; confirmatory factor analysis; DIF; content validity; reanalysis
• Tags: Reviewed

Abstract

Cílem textu je reanalýza testu Diagnostika struktury matematických schopností (Traspe a Skalková, 2013), který slouží k zjišťování obtíží v rozvoji matematických schopností u dětí ve věkovém rozmezí od doby těsně před nástupem do základní školy až do pátého ročníku. Test obsahuje 14 vývojových škál a celkové skóry, celkem je k dispozici 22 škál s percentilovými normami. Tato studie pracuje se standardizačním (N = 878) a poradenským (N = 877) vzorkem a zaměřuje se na tři hlavní témata: (1.) ověření reliability součtových skórů prostřednictvím stratifikovaného Cronbachovo alfa, ověření obsahové validity testu a jeho férovosti pomocí (2.) série konfirmačních faktorových analýz a (3.) analýzy diferenciálního fungování položek (DIF). Odhady reliability se zohledněním vícedimenzionální struktury součtových skórů docílily až dvakrát (v případě celkového skóre až třikrát) menších standardních chyb měření a tedy i intervalů spolehlivosti. Strukturní modely podpořily předpoklad slabé faktorové invariance u dětí v 2.–5. ročníku ZŠ vyjma subtestu automatizace početních dovedností (jehož vztah s celkovými matematickými schopnostmi vzrůstá spolu s věkem dětí), faktorová struktura pro žáky prvních tříd a předškolní děti je nicméně odlišná a v poradenské populaci pak nelze identifikovat žádné stabilní faktory. Ukázalo se ale také, že subtest matematické pojmy lze samostatně použít u běžné populace pro kratší skríning celkové úrovně matematických schopností. Jednotlivé škály se pak během analýzy DIF ukázaly být ne zcela invariantní napříč ročníky i oběma vzorky: zdá se tedy, že nižší skóre v testu nemusí znamenat jen „kvantitativně nižší“ míru schopností v příslušných rysech, ale do jisté míry též kvalitativní odlišnosti od běžné populace. Článek poskytuje konkrétní doporučení pro další používání testu v běžné diagnostické praxi.

Abstract (in English)

The goal of this paper is the reanalysis of the Czech “Assessment of the structure of mathematical abilities” test (Traspe and Skalková, 2013), designed to assess problems related to the development of mathematical abilities in children aged approx. 5–11 years. The test contains 14 developmental scales and total scores – a total of 22 test scores with percentile norms. This study uses normative (N = 878) and clinical (N = 877) samples and focuses on three objectives: (1.) the estimation of composite scores reliability using stratified Cronbach's alpha; assessment of content validity and test fairness using (2.) a series of confirmatory factor analyses and (3.) differential item functioning analysis (DIF). Reliability estimates, which took into account the multidimensional structure of composite scores, led to a two-fold (in the case of total score, a three-fold) decrease in standard errors and narrower confidence intervals. Structural models supported the assumption of a weak factorial invariance between grades 2 to 5, except the Computing Automation subtest (the relationship of which with overall math ability strengthens with age). However, the factorial structures for first graders and younger children were different and there was no clear factor structure in the clinical sample. Results also suggested that the Mathematical Ideas subtest can serve as a screening method of the overall level of mathematical abilities. Single scales were not shown to be invariant according to the DIF analyses between grades and samples, which might mean that lower scores do not simply imply lower levels of mathematical ability, but also qualitative differences. This paper offers further recommendations for test use in common assessment situations.