2022
Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia : psychometrická kazuistika
CÍGLER, Hynek; Stanislav JEŽEK; Jan ŠIRŮČEK a Lenka LACINOVÁZákladní údaje
Originální název
Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia : psychometrická kazuistika
Název anglicky
Bachelor's thesis rating as an admission criterion to the master's program of psychology : a psychometrical case study
Autoři
Vydání
Studia paedagogica, Brno, Masarykova univerzita, 2022, 1803-7437
Další údaje
Jazyk
čeština
Typ výsledku
Článek v odborném periodiku
Obor
50300 5.3 Education
Stát vydavatele
Česká republika
Utajení
není předmětem státního či obchodního tajemství
Odkazy
Označené pro přenos do RIV
Ano
Kód RIV
RIV/00216224:14230/22:00126353
Organizační jednotka
Fakulta sociálních studií
EID Scopus
Klíčová slova česky
lineární logistický testový model; LLTM; high‑stake testy; hodnoticí škála; přijímací test; teorie zobecnitelnosti
Klíčová slova anglicky
Linear Logistic Test Model; LLTM; high‑stakes testing; rating scale; entrance test; generalizability theory
Štítky
Příznaky
Recenzováno
Změněno: 16. 2. 2023 11:30, Mgr. Blanka Farkašová
V originále
V roce 2020 epidemie covid‑19 znemožnila konání přijímací zkoušky do navazujícího magisterského studia psychologie na Masarykově univerzitě formou běžného písemného znalostního testu. Zvolili jsme proto náhradní formu v podobě hodnocení bakalářských prací. Tento článek je "psychometrickou kazuistikou", která dokumentuje celý postup od tvorby hodnoticích kritérií s ohledem na obsahovou validitu přes volbu designu až po výsledky. Každou práci hodnotili dva náhodně vylosování hodnotitelé, jejichž "přísnost" byla vyvážena využitím logistického lineárního testového modelu (LLTM) v rámci paradigmatu teorie odpovědi na položku (IRT). Výsledkem byl jednodimenzionální skór, férově vyvážený napříč dvěma přijímacími termíny (n1 = 82, n2 = 48) a 18 hodnotiteli. Jeho reliabilita, rxx' = 0,869, byla srovnatelná s písemnými testy v jiných letech. Přísnost hodnotitelů a obtížnost kritérií se nelišily napříč oběma termíny, výsledné hodnocení se zdá být validním ukazatelem a srovnatelně férové s písemným testem. Navržená procedura tak může posloužit jiným pracovištím a k jiným účelům, než je jen přijímací test; z těchto důvodů sdílíme analytický skript a veškeré materiály nezbytné pro replikaci celé procedury.
Anglicky
The COVID-19 pandemic influenced admissions testing for the master's degree program of psychology at Masaryk University in 2020. The administration of the standard paper-and-pencil knowledge test was not possible; therefore, we chose the bachelor's thesis ratings instead. This paper is a psychometrical case study that covers the development of criteria related to content validity, design selection, and results. Two randomly selected raters evaluated each thesis, and we equated their severity using a linear logistic test model (LLTM) under the item response theory (IRT) paradigm. This procedure resulted in unidimensional and unbiased scores equated across 18 judges and 2 terms (n1 = 82, n2 = 48). The reliability was comparable to the standard tests, rxx' = 0.869, and judge severity and criteria difficulty did not differ across them. The resulting ratings seem to be valid and no less fair than the written exam. The proposed method can serve other departments and other goals, not only as an entrance test. We share an analytical script and all the necessary materials to enhance the use of this method.
