Vývoj jazykového testu, testové specifikace 13.6.2012 Eva Složilová CJV MU v Brně Obsah semináře * Zdrojové dokumenty pro vývoj testu * Dosavadní zkušenosti s vývojem testů * Co chceme testovat? * Jak to chceme testovat? - Typy testů * Jazyk pro specifické/akademické účely - konstrukt * Proces vývoje jazykového testu * Testové specifikace * Diskuse, zpětná vazba Zdrojové dokumenty pro vývoj testu * SERRJ * Manuál 1 * Manuál 2 * Referenční dodatek * • SERRJ a jeho využitelnost * Nebyl vyvinut specificky pro jazykové testery * * Komunikativní jazykové činnosti a strategie (str. 58-92) – explicitně formulovány, mohou být vodítkem pro vývoj testu * * Problém s explicitností, precizností, srozumitelností, odlišením jednotlivých úrovní n * * SERRJ a jeho využitelnost * Účel, pro který kandidát na dané úrovni používá jazyk • Př.: čtení njaké dílčí dovednosti vedou k porozumění textu na dané úrovní? n nporozumění hlavních myšlenek, důležitých detailů, rozpoznání struktury textu, dedukce a závěry…. Na které úrovni? Jak se vyvíjí tyto dílčí dovednosti s rozvojem jazykové způsobilosti od B1 po C1? SERRJ a jeho využitelnost * Testovací metoda • Př.: čtení nPoužití např. otázek s otevřenou odpovědí nebo položek typu Pravda/Nepravda u textu má dopad na způsob, jakým kandidát musí text zpracovat SERRJ a jeho využitelnost * Typy diskurzu • Př.: poslech, čtení • nKteré typy psaného a mluveného textu jsou vhodné pro danou úroveň? (deskriptivní, narativní, instruktivní, argumentativní…) n nSERRJ pracuje se zdroji textů (noviny, časopisy…), ne s typy diskurzu * Manuál 1 * Manual for relating Language Examinations to the CEFR * * Hlavní cíl: pomoci poskytovatelům zkoušek vyvinout, aplikovat a podat zprávu o transparentních a praktických postupech s cílem přiřadit dané zkoušky Rámci * * Je zde návod ke sledování jakéhosi přiřazovacího schématu: nObeznámení se nSpecifikace (obsah, typy úloh) nStandardizace (benchmarks, cut-off scores…) nEmpirická validace (analýza testových dat) * * Manuál 2 * Manual for Language Test Development and Examining •http://www.coe.int/t/dg4/linguistic/Manuel1_EN.asp Dosavadní zkušenosti s vývojem jazykových testů * Co chceme testovat? * Jazyk pro specifické účely? * Jazyk pro akademické účely? * Jak chceme testovat? * Test typu „achievement“ (test vázaný k zakončení kurzu, učebního programu…); průběžné testy * * Test typu „proficiency“ (test jazykové způsobilosti, test ovládání jazyka) – TOEFL, IELTS, testy UCLES * Logika testování jazyka pro specifické účely * Intenzivní vývoj v posledních 20-25 letech * Kulminace * 2000 – Douglas: Assessing Language for Specific Purposes * 2001 – speciální číslo Language Testing (č.2) * Časté kontroverzní postoje * Dva extrémy: * snahy vytvářet teoretické rámce/modely (D. Douglas) * zpochybňování teoretického opodstatnění testování jazyka pro specifické účely (A. Davies) nneexistuje teoretické opodstatnění pro vyčlenění TJSU nneexistují důkazy, že by vedlo k validnějším závěrům než testování obecné jazykové způsobilosti nale pokud má TJSU příznivý dopad na učitele, studenty a odborníky-specialisty v oboru, potom má smysl nje to záležitost praktická (vliv pragmatismu) n Logika testování jazyka pro specifické účely * Douglasova definice testu jazyka pro specifické účely: * • Je to test, jehož obsah a metody jsou odvozeny z analýzy používání cílového jazyka pro specifické účely. Přitom testové úlohy a obsah testu autenticky reprezentují úkoly v cílovém použití jazyka. Dochází k interakci jazykové schopnosti zkoušeného jak s jeho znalostí specifického oboru, tak s testovými úlohami. Takový test umožňuje dedukovat závěry o schopnosti zkoušeného používat jazyk ve specifické oblasti užívání jazyka. • Logika testování jazyka pro specifické účely * * Úkolem není holisticky replikovat úkoly na základě analýzy použití cílového jazyka, ale definovat charakteristické znaky těchto úkolů, na jejich základě vytvořit specifikace, podle nich testové úlohy * Logika testování jazyka pro specifické účely * Každý test má svůj účel * Neexistuje dichotomická volba obecný účel vs. specifický účel * Kontinuum * * * • velmi obecný účel velmi specifický účel • FCE ELPAC • * * * * Znalost oboru (faktické znalosti, topical/ background knowledge) * U testů obecné jazykové způsobilosti: nproměnná, kterou je potřeba co nejvíce eliminovat • * U testů jazyka pro specifické účely: ncentrální pojem ninterakce s jazykovou znalostí nvliv na definici konstruktu jazykové schopnosti n n Konstrukt * výška, váha… * krása, inteligence… * * konstrukt jazykového testu: definuje ty aspekty užití jazyka nebo jazykové kompetence, které mají být testovány Úloha znalosti oboru v definici konstruktu nObecně: 3 možnosti n nZnalost oboru/faktická znalost není do konstruktu zahrnuta n nZnalost oboru je součástí konstruktu n nPro jazykovou schopnost a znalost oboru jsou definovány samostatné konstrukty Úloha znalosti oboru v definici konstruktu - příklady * Příklad 1: Chceme měřit schopnost zahraničních studentů, kteří se hlásí na českou vysokou školu a studovali češtinu jako cizí jazyk, číst „akademický materiál“ v češtině za účelem selekce vhodných studentů pro přijetí. * Velká řada disciplín na dané univerzitě * Vyvineme několik variant testu čtení z odlišných oborů a povolíme kandidátům, aby si vybrali několik z nich * Typy úkolů budou zaměřeny pouze na měření jazykové schopnosti • • •Faktickou znalost do definice konstruktu nezahrneme n Úloha znalosti oboru v definici konstruktu - příklady * Příklad 2: Chceme měřit schopnost lékařů ze zahraničí, kteří chtějí pracovat v ČR, komunikovat adekvátním způsobem s českými pacienty při sepisování anamnéz, oznamování diagnóz, informování o terapiích apod. * * Znalost oboru - medicíny - je brána za samozřejmou * Zajímá nás např. schopnost přizpůsobit odborné vyjadřování pacientům, schopnost rozumět hovorové češtině.. * •Faktickou znalost do definice konstruktu zahrneme, konstrukt •bude společný • Úloha znalosti oboru v definici konstruktu - příklady * Příklad 3: Chceme měřit schopnost žáků na základní škole, kteří se učí cizí jazyk, hledat slova v cizojazyčném slovníku. * nZajímá nás schopnost žáka sdělit písemnou formou spolužákovi postup při hledání nZajímá nás také, zda to sami umí (nemáme jistotu, čím byl případný neúspěch v psaní způsoben) n * Konstrukt faktické znalosti a konstrukt jazykové schopnosti definujeme zvlášť * Nepraktické, pracné (nutnost mít buď dvě samostatné hodnotící škály na jeden úkol nebo mít dva oddělené typy úkolů –např. napsat postup + najít konkrétní slova ve slovníku) • Úloha znalosti oboru v definici konstruktu - příklady * Příklad 4: Britská jazyková testovací instituce chce měřit schopnost zahraničních testerů - uchazečů o spolupráci – erudovaně se vyjadřovat o oboru. V testu z mluvení má kandidát uvést argumenty, proč je metoda A pro stanovení cutscore za dané situace výhodnější než metoda B. * nZnalost oboru se předpokládá automaticky nMěříme specifickou jazykovou schopnost n nFaktickou znalost do definice konstruktu zahrneme, konstrukt bude nspolečný n Úloha znalosti oboru v definici konstruktu - příklady Příklad 5: Chceme měřit schopnost studentů ……………… Budeme chtít testovat i jejich znalost oboru? Jaké důsledky bude toto rozhodnutí mít pro vývoj testových položek? Proces vývoje jazykového testu * Testové specifikace * Tvorba testových položek / testových úloh * Moderace testových položek * Pretestace * Položková analýza a následná revize * Finalizace testu * Administrace (zadání testu) * Opravování, hodnocení * Evaluace * Revize testových specifikací * * * Testové specifikace *