Na Masarykově univerzitě opravují písemky počítače

Jitka Brandejsová, Michal Brandejs, Gustav Novotný

článek na konferenci AMV 2008 (22. 4. 2008)

Abstrakt: Informační systém Masarykovy univerzity (IS MU) se postupně stal centrálním uzlem administrativních a výukových e-aktivit. E-learningové agendy poskytují vyučujícím komplexní nástroje pro moderní a efektivní podporu výuky. Jedním z nich jsou také tzv. Odpovědníky. Představují nástroj pro ověřování znalostí, procvičování a pochopení látky i závěrečné zkoušení. Příspěvek se zabývá možnostmi IS MU v oblasti elektronického testování a výsledky jeho praktického využití.
Klíčová slova: Informační systém Masarykovy univerzity, e-learning, elektronické testování, odpovědník, e-technik, servisní středisko MU.
Summary: Masaryk University's Information System (IS MU) has gradually become a central node not only managing school-related data, but also supporting a wide range of e-learning activities. The ROPOT (acronym standing for Revision, Opinion POll and Testing) applications, which provide teachers with complex tools enabling them to make their teaching far more effective than ever before, allow them to revise and test what they teach. The paper focuses on the potential of the Information System to be used for electronic testing as well as practical outcomes of this testing.
Keywords: Masaryk University Information System, e-learning, electronic testing, ROPOT application, e technician, MU Service Center.

1. Motivace pro využití a rozvíjení elektronického testování

E-learning se postupem času stal běžným nástrojem používaným při výuce na všech typech škol. Umožňuje inovativní přístup vyučujících a je oceňován vzhledem k potenciálu rozšiřovat a usnadňovat cestu ke vzdělání. V prostředí velké univerzity je však více než kde jinde důležitý také jeho rozměr týkající se rostoucí efektivity procesů spojených se zabezpečením výuky a zkoušek při rychle rostoucím počtu studentů. Masarykova univerzita si je tohoto potenciálu vědoma a v rámci svého informačního systému se dlouhodobě snaží maximálně využít jak edukativní, tak i administrativní potenciál e-learningu. Během vývoje jednotlivých nástrojů a jejich praktické implementace jsou průběžně sledovány a zohledňovány podněty uživatelů a jejich způsob práce se systémem, díky čemuž se daří postupně formovat nástroje do podoby, jež naplňuje jejich představy a motivuje je tak využívat možností e-learningu ve stále vyšší míře. Cílem je nenutit vyučující trávit mnoho času administrací výuky, ale dát jim nástroje pro rozvíjení vlastních pedagogických záměrů a prostor pro kreativitu. Kromě samotného vývoje nástrojů je tento cíl dosahován i poskytováním specializované podpory v podobě týmu e-techniků, servisních techniků a v podobě portálu s metodickou podporou (Elportál, http://www.elportal.cz/).

1.1 Odpovědníky

K oblastem, ve kterých lze vhodným využitím e-learningu dosahovat nejvýraznějších úspor, patří elektronické testování. Administrace zkoušení, tvorba testů i jejich zabezpečení jsou na čas i lidské zdroje velmi náročné aktivity, navíc stále se průběžně opakující. Vhodné nástroje mohou vyučujícím výrazně usnadnit všechny fáze tohoto procesu – přípravu zadání, vlastní průběh zkoušení, opravu odpovědí včetně přenosu bodů na známky i případnou analýzu výsledků. IS MU vyučujícím veškeré takové nástroje poskytuje v podobě tzv. Odpovědníků. Název odpovídá širokému využití tohoto nástroje jak pro vytváření testů k ověřování znalostí, pochopení výkladu látky, autotesty a zkoušení, tak pro průzkumy, zpětnou vazbu a dotazníková šetření. Název vychází z hlavní vlastnosti nástroje a tím je možnost “odpovídání“ na kladené dotazy ve formě různých typů otázek. Odpovědníky tak představují sadu vyspělých aplikací pro ukládání otázek, definici konkrétních testů a práci s jejich výsledky. Jsou plně provázány s ostatními agendami IS MU a poskytují značnou variabilitu umožňující jejich použití pro široké spektrum výukových aktivit. Vytváření Odpovědníků v IS MU je dvoustupňové. Vyučující si v systému v rámci předmětu vytváří a udržuje databázi otázek, které může třídit do skupin, např. dle obtížnosti. V případě potřeby pak z těchto otázek snadno připraví konkrétní test, tzv. popis odpovědníku. Během veškerých aktivit je snaha dodržet princip jednoduchosti a poskytnout i méně zdatnému uživateli možnost dosáhnout plnohodnotných výsledků. Tomu pomáhá propracovaný systém nápověd a vzorů typických předvoleb. Vzory, jež vznikly na základě nejčastěji používaných uživatelských nastavení, poskytují snadnou a velmi rychlou cestu k vytvoření typických testů např. pro průběžné domácí procvičování, závěrečné ostré zkoušení, průzkum apod. Vyučujícímu je navíc vždy k dispozici e-technik, který je vyškolen pro poskytnutí technické i metodické pomoci ve využívání e-learningu. Je schopen poradit s výběrem vhodných typů otázek, zabezpečením i ukázat a doporučit možnost zapojení multimédií. Díky uvedenému systému podpory i začínající vyučující získává poměrně rychle dobrý přehled o možnostech, jež mu Odpovědníky poskytují a nebojí se exprimentovat. Inovativní využití nejen Odpovědníků se pak e-technici snaží sledovat a zprostředkovat jej všem ostatním v podobě případových studií na Elportálu.

2. Zkoušení u PC a skenované písemky

K přípravě položek pro elektronický test má vyučující k dispozici širokou paletu typů otázek. Samozřejmostí jsou základní typy výběrových (multiple-choice) i relačních (seřazovací, přiřazovací) uzavřených otázek, ale možné je i vyhodnocování matematických výrazů v syntaxi Maple, úprava slovosledu apod. Jednotlivé typy lze v rámci jedné otázky kombinovat a vytvářet tak např. výběrové otázky s otevřenou možností, škálové tabulky pro ankety a průzkumy apod. U dlouhých otevřených otázek je možné využít funkci pro odhalování opsaných dokumentů. V rámci zadání i variant odpovědí lze také libovolně zapojit multimédia. IS MU umožňuje vytvářet otázky založené na obrázkovém zadání, do kterého lze přímo v ploše umístit i jednotlivé prvky pro odpověď (Obr. 1). Vytváření obrázkových otázek je díky interaktivnímu webovému editoru Questomat stejně snadné jako u ostatních typů. Využití multimédií v Odpovědnících se samozřejmě nezastavuje u použití obrázků. Používají se audiozáznamy, streamované video (Obr. 2), či flashové animace. Vytváření takových náročných komponent může zadat vyučující MU bezplatně jako zakázku servisnímu středisku pro podporu e-learningu, které disponuje potřebným vybavením a zkušenými grafiky i programátory. Kromě vytváření multimediálních materiálů také může např. hromadně importovat zadání otázek z Wordu, upravit grafickou podobu Odpovědníku apod.


Obr. 1: Obrázkové otázky vytvořené editorem Questomat.


Obr. 2: Otázky využívající multimediální objekty.
(převzato z kurzu Effective Public Speaking od PhDr. Mgr. Libora Štěpánka, Ph.D.)

2.1 Zkoušení u PC

Veškerý uvedený potenciál otázek lze využít pro sestavení testu, který student skládá na PC prostřednictvím webového prohlížeče, ve stejném prostředí, kde obsluhuje všechny další studijní agendy. Odpovědník lze variabilně nastavit, např. pro opakované skládání testu, možnost zobrazit či skrýt správné výsledky, náhodně míchat otázky i nabízené odpovědi v sadách nebo celém testu. Velký důraz je kladen i na bezpečnost a ochranu před podvody. Díky sofistikovanému systému přístupových práv lze spuštění testu omezit na konkrétní osoby, studenty přihlášené na konkrétní termín zkoušky, seminární skupinu, předmět apod. Omezit lze i rozsah IP adres, ze kterých je možné test skládat, čas, kdy lze s odpovědníkem pracovat i maximální možnou dobu jeho otevření. Integrace agend a nástrojů v jednom systému umožňuje automaticky zapsat výsledky testu do tzv. Poznámkových bloků (elektronický index), kde si je mohou prohlédnout studenti a které jim generují statistiku úspěšnosti vzhledem ke zkoušené skupině. Body lze mezi jednotlivými bloky sčítat, násobit apod. a výsledek jednoduše převést na závěrečné hodnocení. Systém přitom umožňuje zohlednit hodnotící metriku ECTS. Celý proces od uzavření testu po finální vystavení hodnocení do elektronického indexu netrvá déle než několik minut. Přitom má vyučující komplexní statistiku, kdy a jak student test vyplňoval, jak byl úspěšný vzhledem k ostatním ve skupině v každé testované otázce apod.

2.2 Skenování

Od roku 2005 je další alternativou rozšiřující možnosti elektronického testování v IS MU tzv. skenování písemek. Jedná se o ojedinělé řešení, které jiné e-learningové systémy běžně nepodporují a velmi vhodně doplňuje variantu testu skládaného u PC o možnost vyplnit test mimo počítačovou učebnu, kde bývá počet současně zkoušených studentů limitován počtem dostupných PC. Na MU tak nyní lze zkoušet stovky studentů současně při zachování komfortu elektronického vyhodnocení testu s přenosem bodů na hodnocení v poznámkových blocích. Pro učitele je podstatné, že se při využití skenování nemusí učit ovládat žádný další software. Skenování je integrální součástí agendy Odpovědníků a manipulace s takovým testem v systému je velmi podobná zkoušení u PC, takže neomezuje v rozhodování, která varianta je pro danou situaci výhodnější. Skenovanou písemku si negeneruje student sám při spuštění testu, ale požadovaný počet unikátních zadání nechá vytisknout vyučující přímo z prohlížeče nebo přes soubor formátu Adobe PDF. Vytiskne i jednostránkové tzv. odpovědní archy (Obr. 3) určené pro automatizované zpracování, na které studenti zaznamenávají odpovědi. Systém dokáže zpracovat více druhů archů lišících se jazykovou verzí, případně množstvím a typem otázek.


Obr. 3: Odpovědní arch pro automatizované zpracování.

Sebrané odpovědní archy lze díky vlastnímu skenovacímu softwaru snadno zavést do systému jakýmkoliv skenerem přípojeným přes standardní rozhraní. IS MU automaticky rozpozná identitu odpovídajících, přiřadí odpovědi k unikátnímu zadání a určí výsledek. Každý student má navíc přes systém přístup ke svému naskenovanému odpovědnímu listu, což výrazně snižuje nutnost osobních konzultací po písemce a šetří vyučujícím čas. Při běžném počtu studentů skládající test s uzavřenými otázkami není problém vystavit do 20 minut po vyplnění testu studentům hodnocení. Rozpoznávací aplikace velmi citlivě reaguje na nepřesné vyplnění odpovědního archu a takové předkládá ke korekci. Přesto bývá počet nekorektně vyplněných odpovědních archů zanedbatelný, přibližně 1%. Skenovat lze výběrové otázky typu 1:N a M:N, ale nově také volně tvořené odpovědi, které vyučující opraví ručně a do stejného formuláře doplní výsledné body. Výhodou posledního řešení je, že lze snadno v systému zpracovat výsledky matematických úloh a textových či grafických odpovědí, studenti se na opravený test v elektronické podobě mohou také podívat v IS MU v agendě daného předmětu a vyučující snadno z bodů vystaví hodnocení. Skenování bylo již několikrát vyzkoušeno při více než 500 studentech v kurzu a velmi se osvědčilo. Na některých fakultách se zcela běžně využívá ke zkoušení denních i kombinovaných studentů již několik semestrů.

3. Praxe a nejbližší budoucnost

Elektronické testování v IS MU se běžně využívá napříč všemi fakultami a pozitivní zkušenosti často inspirují vyučující k vymýšlení dalších požadavků na jeho rozvoj. Tak se Odpovědníky začaly využívat i mimo předmětový prostor. Staly se součástí státních závěrečných zkoušek, mimouniverzitních projektů typu matematické olympiády, interního školení zaměstnanců, např. pro školení BOZP (Obr. 4) a dalších průzkumů nebo anket.


Obr. 4: Část Odpovědníku k BOZP pro interní školení zaměstnanců.

Odpovědníky od letošního roku slouží pro online přípravu uchazečů o studium na MU k Testům studijních předpokladů (TSP). Uchazeči mají nyní možnost vyzkoušet si interaktivní formou TSP, které jsou k dispozici prostřednictvím e-přihlášky v IS MU, nanečisto. Výhodou oproti předchozímu zveřejňování zadání v běžném dokumentu, je plovoucí časomíra na obrazovce, která informuje o zbývajícím čase do konce testu a okamžité zobrazení bodového zisku po vyplnění testu bez nutnosti počítat správné odpovědi podle klíče (Obr. 5).


Obr. 5: Procvičovací verze TSP.

V současné době probíhá pilotní využití Odpovědníků pro matematickou olympiádu pro střední školy. Ve formě Odpovědníků probíhá také státnicové zkoušení na Fakultě sociálních studií MU a na Fakultě informatiky MU, kde státnicové zkoušky obsahují mnoho matematického a informatického učiva, byly vytvořeny pomocné cvičné testy pro samostudium před státnicemi. Odpovědníky jsou také využívány pro plošné ankety tisíců studentů, průzkumy názorů, zpětné vazby respondentů apod. Vyvíjí se rozšíření Odpovědníků pro neautentizované uživatele, což otevírá možnost zpřístupnit je široké veřejnosti, použít je například ke sběru informací při konferencích, dnech otevřených dveří apod.

LITERATURA:

[1] Informační systém Masarykovy univerzity: Když počítač opravuje 900 písemek, IS MU: Novinky [online], 2005
[2] BRANDEJSOVÁ J.: Skenováním písemek se zjednodušuje zkoušení, měsíčník MUNI, Brno, 2006
[3] Informační systém Masarykovy univerzity: Možnosti IS MU, Elportál: Možnosti IS MU [online], 2008