Rok 2008 v číslach z pohľadu elektronického skúšania v IS MU

Michal Brandejs, Jitka Brandejsová, Jan Kasprzak, Ľuboš Lunter

článek na konferenci SCO 2009 (16. – 17. června 2009)

Abstrakt: Informačný systém Masarykovej univerzity (IS MU) už niekoľko rokov poskytuje svojim užívateľom nástroje pre tvorbu e-learningu. Tieto nástroje môžu využívať jednak pre tvorbu elektronických študijných materiálov a precvičovacích testov, na druhej strane im môžu pomôcť vyskúšať veľké množstvo študentov a ušetriť tak čas venovaný oprave písomiek. V roku 2008 využilo možnosti elektronického skúšania v IS MU takmer 300 predmetov a spolu bolo vyskúšaných vyše 40 000 študentov (vrátane opravných pokusov). Článok zhŕňa skúsenosti zo skúšania u PC, skenovania odpovedných archov a skúšania pomocou Odovzdavární na všetkých fakultách MU v roku 2008, popisuje problémy s ktorými sa učitelia pri zaisťovaní elektronického skúšania veľkého počtu študentov stretli a spôsoby, ako sa týmto problémom dá predísť.

Kľúčové slová: skenovanie, elektronicé skúšanie, skúšanie u PC, odpovedníky, IS MU

1 Úvod

Učitelia Masarykovej univerzity majú v Informačnom systéme široké možnosti elektronickej podpory výuky. Okrem vystavovania študijných materiálov a vytvárania odpovedníkov (interaktívnych testov) majú v IS MU možnosti pre pohodlné skúšanie veľkého množstva študentov. Využiť môžu skúšanie u PC, skenovanie formulárov s testovými odpoveďami a skúšanie pomocou odovzdavární.

2 Odpovedníky – ostré skúšanie u PC

Jednou z možnosí elektronického skúšania v Informačnom systéme sú odpovedníky, ktoré v IS fungujú v rôznych režimoch – od precvičovania až po ostré skúšanie. Záleží na učiteľovom rozhodnutí, ako si odpovedník nastaví a v akom režime ho sprístupní pre študentov. K dispozícii sú typy otázok od výberu jedinej správnej odpovede, viacerých správnych možností, roletkový výber, odpoveď textom, spájanie súvisiacich pojmov (matching), úprava slovosledu, numerická odpoveď, až po odpoveď matematickým výrazom v syntaxi LaTeX (matematický výraz sa následne vyhodnotí na externom servri). Odpovede na tieto otázky sa hneď po uložení testu automaticky vyhodnotia a študent okamžite vidí, koľko bodov v teste dosiahol. Študentom je možné sprístupniť prehliadku svojho testu so zobrazením správnych odpovedí.

Otázky v odpovedníkoch môžu obsahovať aj multimédia – obrázky, audio a video. Audio vo formáte MP3 a video vo formáte FLV je možné v odpovedníkoch prehrávať pomocou Adobe Flash Player – bezplatný plugin do internetového prehliadača.

V jarnom semestri 2008 asistovali fakultní e-technici (užívateľská podpora pre e-learning v IS MU) pri skúškach u PC v 67 predmetoch, spolu prebehlo v tomto semestri 335 skúškových termínov. V období jeseň 2008 asistovali pri skúšaní u PC v 95 predmetoch. V tomto období prebehlo 757 skúškových termínov u PC. V roku 2008 bolo u PC vyskúšaných spolu 18196 študentov za asistenice e-technikov.

Skúsenosti zo skúšania u PC ukazujú, že je dôležité študentov pred spustením testu preškoliť. Typicky sú pri ostrom skúšaní odpovedníky nastavené na jednorázové spustenie, čo znamená, že po kliknutí na „Uložiť“ už nie je možné s odpovedníkom pracovať. Rovnako po kliknutí v prehliadači na tlačítko „Obnoviť“ alebo „Späť“ už nie je možné test znovu spustiť. Preto je potrebné študentom odporučiť používať priebežné ukladanie testu, aby bolo možné vypracované odpovede dohľadať. Pre učiteľov je výhodné, aby fakultný e-technik pred skúškou Odpovedník skontroloval a prípadne sa skúšky zúčastnil, aby v prípade neočakávaných problémov mohol pomôcť znovu sprístupniť alebo nastaviť odpovedník.

3 Skenovanie

Ak skúša učiteľ klasickými testovými otázkami, kde je jedna alebo viacero správnych možností, môže využiť skúšanie skenovaním v IS a zaistiť si tak automatickú opravu písomiek. Študenti v takomto prípade odpovedajú na špeciálny odpovedný arch, ktorý sa po naskenovaní rozozná, identifikuje študenta a automaticky mu priradí príslušný počet bodov za test. Skúška môže byť opravená ešte v deň jej písania a bodové výsledky je možné niekoľkými kliknutiami previesť na známku.

Pre vytvorenie skenovateľnej písomky je potrebné pripraviť sady otázok, z ktorých sa vygenerujú zadania, vytlačiť zadania a odpovedné archy. Skenovanie zabezpečí fakultný e-technik, ktorý si písomky vyzdvihne a učiteľa informuje e-mailom alebo telefonicky o zavedení výsledkov do poznámkového bloku.

Skenovať je možné aj rukou napísanú písomku. V takomto prípade systém samozrejme nedokáže test opraviť. Učiteľ ho opraví, ohodnotí príslušným počtom bodov každú úlohu a po naskenovaní do IS sa výsledky automaticky zavedú do poznámkového bloku. Študenti vidia svoje naskenované písomky v informačnom systéme, a tak si môžu skontrolovať svoju písomku bez návštevy u učiteľa. Pre lepšiu prehľadnosť je možné skenovať testy farebne.

Služby e-technikov pri skúške skenovaním využilo v období jar 2008 65 predmetov v 311 termínoch. Na jeseň toho istého roku využilo skenovacie písomky 72 predmetov v 339 skúškových termínoch. Spolu bolo v roku 2008 naskenovaných 22740 skúškových písomiek. Toto číslo zahŕňa len skenovanie zabezpečované fakultnými e-technikmi. Na niektorých fakultách si pokročilejší užívatelia systému skenujú písomky bez akejkoľvek asistencie, takže celkový počet naskenovaných písomiek je ešte vyšší.

    Najčastejšie problémy:

  • nesprávne vyplnené číslo zadania
  • nesprávne vyplnené UČO
  • učiteľ vytlačil nesprávny formulár
  • zle zadefinovaná správna odpoveď
  • škrtanie a opravovanie odpovedí

Systém poskytuje nástroje pre pohodlnú opravu týchto chýb. Pokiaľ študent vyplní nesprávne číslo zadania alebo UČO (univerzitné číslo osoby), po naskenovaní je učiteľ upozornený na nutnosť zadania správneho čísla. Učiteľ si jednoducho klikne a zobrazí chybne rozpoznaný formulár a vypíše správne údaje. Pre predchádzanie týmto chybám je dôležité študentov pred začiatkom skúšky zaškoliť, ukázať ako sa správne vyplňujú systémom spracuvávané údaje a pri zbieraní odpovedných archov previesť vizuálnu kontrolu, ktorou sa dá rýchlo a efektívne odhaliť aj neprípustné škrtanie v odpovednom archu. V prípade chyby v definícii otázky umožňuje systém dodatočne upraviť zadefinovanie správnej odpovede a prepočítať výsledky.

4 Skúšanie pomocou odovzdavární

Tzv. odovzdaváreň je zložka v IS MU, ktorá je nastavená tak, aby do nej mohli študenti vkladať súbory. V predmetoch sa tieto zložky využívajú typicky pre zber vypracovaných úloh. V zložke sa dajú obmedziť prístupové práva tak, aby študenti mohli svoje úlohy vkladať, ale aby nemohli už vložené úlohy čítať. Záleží na učiteľovom rozhodnutí, či chce zabrániť opisovaniu alebo naopak, či chce umožniť študentom čítať odovzdané práce svojich kolegov. Jednou z výhod odovzdavární je možnosť nastaviť čas, do kedy sa môžu súbory vkladať. Po tomto čase sa zložka automaticky uzavrie.

Odovzdavárne je možné využiť aj pre skúšanie u PC, kedy študenti dostanú zadanie napr. vypracovať esej. V počítačovej učebni píšu prácu vo Worde a na záver si ju vložia do odovzdavárne. Takýto spôsob elektronického skúšania využíva FSS.

5 Organizácia ostrého skúšania

Pri ostrom skúšaní u PC je dôležité zabezpečiť, aby na odpovedník odpovedal len študent, pre ktorého je test určený, a aby bolo možné odhaliť prípadné pokusy o podvádzanie. Typické nastavenia skúškového odpovedníku dovolia spustiť odpovedník len osobám prihláseným na daný skúškový termín. Nastaví sa čas, odkedy a dokedy je možné s odpovedníkom pracovať, a prípadne časový limit, ktorý sa odpočítava a pomáha mať v každom momente prehľad, koľko času ešte ostáva. Po jeho vypršaní sa test automaticky uloží, zavrie a vyhodnotí. Prístup k odpovedníkom sa dá obmedziť na IP adresy konkrétnej počítačovej učebne. Test je potom prístupný len z učebne, kde sa dá skontrolovať totožnosť na základne prezenčnej listiny rovnako, ako pri klasickej písomnej skúške. Fakultní správcovia počítačových učební môžu na požiadanie učiteľa v čase skúšky obmedziť prístup do internetu len na IS MU a takýmto spôsobom zabrániť snahám o získavanie informácií z internetu počas skúšky.

Tabuľka 1. Skúšanie v IS MU v období jar 2008

Fakulta Počet predmetov Počet zapísaných študentov Celkom skúškových termínov Celkom vyskúšaných študentov vrátane opakovania
FF
ESF
FI
LF
FSpS
PrF
PriF
PdF
FSS
11
24
3
9
19
18
4
18
26
846
3214
200
620
857
3826
390
875
2134
53
88
5
52
96
170
38
59
76
637
3297
205
736
1085
4264
357
916
2269
Celkom1321296263713766

Tabuľka 2. Skúšanie v IS MU v období jeseň 2008

Fakulta Počet predmetov Počet zapísaných študentov Celkom skúškových termínov Celkom vyskúšaných študentov vrátane opakovania
FF
ESF
FI
LF
FSpS
PrF
PriF
PdF
FSS
16
14
9
14
14
19
1
27
53
1169
3531
3884
2162
1835
5677
260
2199
3884
71
137
46
224
150
210
10
59
189
777
3229
5877
2626
2163
5384
264
1943
4825
Celkom16724601109627088

6 Záver

Štatistiky ukazujú, že elektronické skúšanie si získava čoraz viac priaznivcov v radách učiteľov rôznych fakúlt. V období jar 2008 využili možnosti elektronického skúšania učitelia v 132 predmetoch. V jesennom semestri roku 2008 sa počet predmetov zvýšil na 167. Celkovo tak v roku 2008 bolo elektronicky vyskúšaných vyše 40 tisíc študentov.

Referencie

  1. Brandejs, Michal - Brandejsová, Jitka - Novotný, Gustav. Na Masarykově univerzitě opravují písemky počítače. In 6. ročník konference Alternativní metody výuky 2008. 1. vyd. Hradec Králové: University of Ostrava, 2008. s. 12-12. ISBN 978-80-7041-454-5.
  2. Brandejsová, Jitka - Brandejs, Michal. Elportál -- E-learning na Masarykově univerzitě. In ALTERNATIVNÍ METODY VÝUKY 2007. Praha: Přírodovědecká fa-kulta Univerzity Karlovy v Praze, 2007. s. 127-133. ISBN 978-80-7041-129-2.
  3. Statistiky používání e-learningových nástrojů v IS MU [online]. 2009. Dostupné z https://is.muni.cz/auth/elportal/statistika.pl. [cit. 2009-04-17].

Information System of Masaryk University (IS MU) has been assisting teachers with its e-learning tools since 2004. Teachers utilize the System to create the so called Interactive Syllabi, examine their students electronically and collect their assignments via Homework Vaults. More than 40 000 students in almost 300 courses were examinated electronically using IS MU in 2008.