Téma: Hodnocení

5. února 2020

Úvod

Letošní desátý jubilejní ročník Open space konference o e-learningu (dále jen OSK) se již tradičně uskutečnil v prostorách Fakulty informatiky a  návštěvnost byla opět vysoká. Téměř dvě sta účastníků si přišlo poslechnout kolegy, kteří prezentovali své zkušenosti se systémem hodnocení ve výuce, s tím, jak hodnotí týmové úkoly, dávají zpětnou vazbu nebo využívají agendu Vzájemné hodnocení v Informačním systému Masarykovy univerzity (dále jen IS MU).

Úvodní zdravici, před plnou učebnou účastníků konference, pronesl prorektor doc. JUDr. Radim Polčák, Ph.D., který zmínil, že Masarykova univerzita má být nezávislá a svobodná a IS MU, který kromě administrativních agend plní i funkci platformy pro sdílení studijních materiálů a elektronickou podporu studia, jí právě toto pomáhá splnit.

Účastníky také přivítal vedoucí vývoje IS MU, doc. Ing. Michal Brandejs, CSc., který začal vtipně s odkazem na fakt, že letošní ročník OSK je už desátý v pořadí, ale že desítka, která je pro mnohé kulatým výročím, je pro informatiky bezvýznamná, protože není žádnou mocninou dvojky. Ve své řeči k účastníkům zmínil téma, které teď nejvíce plní diskusní fóra a zaměstnalo pracovníky IS MU i rektorátu, jímž je elektronické potvrzení o studiu. Zmínil, že se v souvislosti se zprovozněním této novinky v IS MU uživatelé, jimž je potvrzení určeno, dostávají do zcela nezvyklé role testerů, kteří budou testovat naše úřady, jak se s digitalizací vyrovnávají v praxi.

První blok prezentací

Program konference zahájil příspěvkem Proč hodnotíme studenty? prof. RNDr. Jan Slovák, DrSc. Téma pojal obecně a na konci doplnil prezentaci o své vlastní praktické zkušenosti. Za jím vyřčeným obsahem bylo možné vycítit zkušenosti ze zahraničí a z dlouholeté pedagogické praxe. Účastníkům konference například popsal systém, který zavedl ve svých hodinách, kdy pravidelně vyzýval studenty, aby domácí úkoly (matematické příklady) řešili kolektivně v diskusních fórech. Cílem této aktivity bylo povzbudit studenty k tomu, aby problém zkusili vysvětlit vlastními slovy. Pokud je student schopen látku někomu vysvětlit, chápe ji správně a do hloubky.

Svůj projev zakončil sdílením zkušeností s využitím nové aplikace v IS MU, Vzájemné hodnocení. Studenti opět dostali za úkol vyřešit matematický příklad. Splnění spočívalo ve vyřešení příkladu a jeho vysvětlení, přičemž řešení měli zachytit na papír/slajd a vysvětlení na audio stopu. Výsledek své práce (audio stopu a řešení) odevzdávali v aplikaci Vzájemné hodnocení. Spolužáci si svá řešení a vysvětlení navzájem hodnotili. Při vyhodnocování této aktivity profesor Slovák konstatoval, že více než správných řešení si cenil kritických posudků hodnotitelů a pomocí bodů to dal studentům najevo.

Prezentaci profesora Slováka uzavřela diskuze s účastníky, v níž například dotaz týkající se disciplíny studentů při dodržování termínů na odevzdání úkolu rezonoval auditoriem po zbytek programu. Účastníci se také dozvěděli, že dnešní studenti s nahráváním audia/videa nemají naprosto žádný problém, neboť nahrávání je pro ně díky chytrým mobilním telefonům zcela přirozená dovednost. Z úst profesora Slováka zazněla velká pochvala směrem k aplikaci Vzájemné hodnocení, která umí přiřadit více souborů od jednoho autora stejnému hodnotiteli, takže hodnotitel má všechny soubory, které autor k příkladu odevzdal.

Na závěr padla otázka moderátorů, která byla pokládána všem přednášejícím a na níž mohli v průběhu celé konference odpovídat i účastníci prostřednictvím online platformy Socrative, a to, která aplikace je v IS MU jeho nejoblíbenější? Odpověď profesora Slováka, která asi nikoho nepřekvapila, byla, že nová aplikace Vzájemné hodnocení.

Druhým příspěvkem v programu bylo vystoupení Mgr. Kateřiny Lojdové, Ph.D., která se s účastníky podělila o své zkušenosti v prezentaci s názvem Hodnocení učitelem a vzájemné studentské hodnocení v masifikovaném vzdělávání. V úvodu zmínila typy hodnocení (formativní a sumativní, normativní a kriteriální, vrstevnické hodnocení, hodnocení procesů a výsledků, sebehodnocení), ale větší část prezentace se věnovala praktickým radám a postřehům z výuky předmětu, v němž hodnocení postavila na vrstevnickém hodnocení, kdy si práci studenti hodnotili navzájem. V předmětu bylo zapsaných 198 studentů, takže, aby to bylo zvládnutelné, využila aplikaci Vzájemné hodnocení v IS MU.

Přítomným posluchačům na konferenci se doktorka Lojdová snažila předat zkušenost s tím, že je dobré neztratit se studenty krok při plnění povinností a neustále předvídat, s čím by mohli mít problém a tomu pak předcházet. Popsala také situaci, kdy musela přistoupit k dodatečnému přehodnocení, neboť jedna z prací získala nedoporučující hodnocení.

Svou zkušenost uzavřela tím, že aktivita se jí osvědčila, příští semestr ji zařadí opět, ale více se zaměří na to, aby studenti byli lépe průběžně informováni osobním e-mailem, a nespolehne se jen na e-maily zaslané systémem, které může student přehlédnout. Předsevzala si, že bude důslednější při dodržování termínů (studenti, kteří termín nedodrží, dostanou hodnocení X) a upraví hodnotící formulář. Příspěvek uzavřelo poděkování e-technikovi působícímu na Pedagogické fakultě MU. Dotazy po příspěvku na paní doktorku se týkaly především přesného způsobu nastavení aplikace a také metodiky k posuzování odevzdaných prací.

Odpovědí přednášející na otázku moderátorů ohledně nejoblíbenější aplikace, bylo již podruhé Vzájemné hodnocení.

První blok uzavírala Mgr. Hana Tulinská, která hovořila na téma Formativní zpětná vazba jako kompetence studenta i učitele. Na začátku přednášející vyzvala posluchače, aby společně s ní sledovali její prezentaci na svých mobilních zařízeních, čímž měli vyučující možnost se dostat k příkladům a ukázkám, které dokreslovaly to, o čem mluvila v prezentaci.

Zmínila pět doporučení, jak podpořit studenty v práci se zpětnou vazbou. Začala u začlenění prvků sebehodnocení a sebereflexe už do samotného zadání úkolů, přes postupné vytváření dialogické zpětné vazby až po praktické prvky podpory zpětné vazby mezi spolužáky. Jednotlivé body podpořila i tipy na technologie jak v IS MU, tak mimo něj.

Dotkla se také tématu digitálních portfolií jako prvku pro poskytování zpětné vazby. Právě na digitální portfolia pak cílily otázky posluchačů, především je zajímaly možnosti vyhledávání plagiátů. Vzhledem k tomu, že digitální portfolia neumožňují plagiáty vyhledávat a řešit, zadává vyučující úkoly pouze takové povahy, že je nelze opsat.

Posluchače také zajímalo, jakým způsobem se řeší situace, kdy student odmítá veřejně portfolio v externím systému prezentovat. Tyto případy jsou řešeny individuálně zasláním pouze učiteli.

Druhý blok prezentací

Po přestávce, kterou si vyučující mohli zpříjemnit kávou či něčím „malým na zub“, přišel dle programu na řadu Ing. Mgr. Radek Ruban, Ph.D. a jeho příspěvek „Zpětná vazba“ v Praktiku práva obchodních korporací. Doktor Ruban své vystoupení uvedl zamyšlením se nad tím, jak může být zvenčí nahlíženo na látku, kterou se studenti Právnické fakulty musí naučit. Zavtipkoval o tom, že právníci sice nejsou nudní lidé, ale zajímají je samé nudné věci. Pokračoval představením konceptu své výuky. Ve svém předmětu se důsledně snaží imitovat praxi, kde základ práce právníka je tvorba textů, které opatřuje komentářem a zapracovává komentáře do textu. Svůj výklad proložil humornou anekdotou o tom, že právník si k výkonu svého povolání vystačí s tužkou, papírem a knihovnou.

Jeho záměrem je, aby výuka byla co nejvíce podobná praxi, proto studenti dostávají k řešení podobné příklady, na jaké v praxi narazí, učí se porozumět procesům, v nichž budou jednou v praxi funkčním článkem, učí se připravovat textové podklady, které budou k dispozici dalším článkům v procesu, tj. soudcům, obhájcům, advokátům, učí se komentovat texty jiných a pracovat s nimi. Při takto koncipované výuce je mu velmi nápomocná Odevzdávárna v IS MU, která umožňuje vložit adresný komentář. Zde poukázal na to, že právník se v praxi skutečně nesetká s vychytávkami, které umožňují dnešní technologie (nepracuje s audii ani videi), ale pracuje především s textem, a v tom jim IS MU naprosto pomáhá.

Na dotaz, zda od absolventů očekává v dlouhodobém horizontu zpětnou vazbu, protože to, jak se studenty ve výuce pracuje, není analogické tomu, jak to funguje v praxi, odpověděl: „Ano. Stylem výuky se snažím vychovat absolventy-kamarády, kteří se budou kamarádsky vracet a poskytovat mi zpětnou vazbu z praxe, i typu „kluci, učíte to úplně jinak, než funguje praxe”.”

Na závěr zazněla opět otázka moderátorů, která aplikace v IS MU je jeho nejoblíbenější? A jaká byla odpověď? Aplikace Lidé, protože v ní vždy našel, a hledal často, kontakt na e-techničku právnické fakulty MU, jejíž podporu si velmi chválil.

PhDr. Pavla Kovářová, Ph.D. prezentovala své zkušenosti v příspěvku, který nesl název 6 let týmových úkolů ve VIKMA10 a pořád nemám dost. Svoji prezentaci ozvláštnila zařazením aplikace sli.do. Pomocí této aplikace během prezentace sbírala odpovědi na své dotazy a výsledek v grafech prezentovala na plátně. Prostřednictvím této aplikace také mohli účastníci klást dotazy, na něž odpovídala v diskuzní části prezentace.

Doktorka Kovářová mluvila zejména o organizaci projektové výuky ve svém předmětu. Do prezentace zařadila informace o způsobu, jak si studenti témata vybírají, jak tvoří projektové týmy, jak si v týmu studenti rozdělují práci, jakým způsobem studenti komunikují, jak probíhá odevzdávání a prezentace výstupů, jak se studenti navzájem hodnotí, zdali vnímá vztahy v pracovních skupinách, jak týmy a jednotlivce hodnotí ona nebo před jaké výzvy a dotazy ji jako učitele v roli koordinátora tato aktivita postavila.

Hlavní část prezentace věnovala informacím, jakou formou sbírá studentskou reflexi. Využívá vzájemné hodnocení studentů, písemné hodnocení od všech studentů mailem, ústní hodnocení díky osobním prezentacím výstupů, kdy prezentuje jeden student, kterého sama náhodně vybere nebo anonymní dotazník, který je pro všechny studenty povinný. U každé této formy reflexe pro posluchače na konferenci vyzdvihla, co vnímala jako pozitivní efekt na studenty a co jako negativní.

Po skončení prezentace odpovídala doktorka Kovářová na dotazy posluchačů. Většina dotazů byla položena anonymně přes aplikaci sli.do a doktorka Kovářová reagovala pouze na vybrané. Například: „Jak zajišťujete kontrolu toho, že všichni studenti povinně vyplnili ZV, když je anonymní? Resp. jak je pak řešena nějaká sankce, když není jasné, na koho ji směřovat?”, „V čem je aplikace sli.do jiná, ve smyslu interakce, než Socrative?” „Zasahujete do nefungujících týmů v průběhu jejich společné práce? Žádají Vás o to nespokojení studenti v průběhu práce? Jaké otázky nefungovaly podle vašich předpokladů?”, „Byla náročná administrace tak velkého množství úkolů, které jste studentům zadávala? Jak jste to zvládala a řešila?" Potvrdila, že nároky na učitele byly veliké a administrace náročná. Snažila se nastavit úkoly tak, aby jejich kontrola a oprava byla pro ni co nejjednodušší. Ale zejména pozorovala pozitivní efekt toho, že díky změně její výuky pak u zkoušek i u státnic měli studenti lepší výsledky.

Následovala prezentace Využití odpovědníků v ISu pro psaní průběžných testů, který přednesla Mgr. Marta Gimunová, Ph.D. Hned v úvodu prezentace popsala svoji motivaci, proč výuku předmětu, který učí, změnila. Učila předmět, kde měla hodně studentů, a chtěla udržet jejich pozornost po celou dobu výkladu. Během doby, kdy to řešila, se dozvěděla o aplikaci Odpovědníky, a tak neváhala a zavedla ve svém předmětu každou hodinu testování studentů.

Průběh testování popsala tak, že na konci hodiny vyhradí cca 10 minut na elektronický test, který studenti vyplňují na svých mobilních telefonech. To, že studenti mají příležitost opisovat z internetu, jí až tak moc nevadí. Oceňuje, že se alespoň snaží vyhledat správnou odpověď. Navíc test je časově omezen, takže prostor k brouzdání po internetu není velký.

Na závěr byla položena otázka moderátory, která aplikace je její nejoblíbenější. Na ni doktorka Gimunová odpověděla, že v Odpovědnících je to suverénně vyhodnocovací funkce, která za ni opraví stovky otázek. Odpovědníky jí pomáhají zvládnout po každé vyučovací hodině opravit test 150 studentům.

Následovala obědová přestávka, během níž měli účastníci možnost si prohlédnout plakáty, které byly věnovány hodnocení, sdílet zkušenosti s kolegy nebo se poradit na stánku s uživatelskou podporou IS MU. Účastníci rovněž měli příležitost napsat libovolný vzkaz nebo přání pro OSK do budoucích let a přilepit jej na nástěnku mezi fotky z konference z minulých let.

Třetí blok prezetnací

Poslední prezentační blok otevřela Mgr. Hana Vrtalová a její příspěvek Poskytování efektivní zpětné vazby, ve kterém mluvila o tom, jak má vypadat zpětná vazba, kterou dáváme studentům. Prezentované čtyři zásady zpětné vazby vždy doprovodila příklady z praxe, na nichž vysvětlila, co je špatně a jak by to mělo být správně. Svůj příspěvek uzavřela sdělením, že dobrá zpětná vazba není pouze o těchto zásadách, ale že se musí myslet také na to, aby byla mj. autentická, konzistentní a uskutečňovala se v bezpečném prostředí. Její prezentace poskytla tipy, jak zpětnou vazbu formulovat, aby z ní měla hodnocená osoba užitek a aby vyjadřovala postoj hodnotitele, tj. aby byla zpětná vazba smysluplná, přínosná a motivující.

Na tradiční otázku moderátorů, odpověděla, že zatím má platonickou lásku k aplikaci Vzájemné hodnocení. Platonickou proto, že ji ještě nevyzkoušela, ale chystá se na to.

Následovala prezentace Novinek v IS MU, které představil Mgr. Filip Daněk. Obsah jeho prezentace shrnul nejvýznamnější výstupy práce vývojářů IS MU za rok 2019 v oblasti e-learningových nebo e-learningu příbuzných aplikací v IS MU.

Nejvíce se vývoj posunul vpřed v rámci aplikace Odpovědníky, kde se i přes větší část práce, která není pro uživatele na první pohled zřejmá, realizovalo mnoho drobných podnětů. Mezi větší úpravy, které se realizovaly v minulém roce, můžeme zařadit nasazení nové aplikace pro školení Bezpečnosti práce a Požární ochrany, elektronickou evidenci docházky u zkoušek pomocí čtečky karet, zavedení verzování souborů nebo doplnění dalších funkcí do aplikace Vzájemné hodnocení. Všechny jistě potěšilo i to, že v testovacím provozu už je přehrávač videí s podporou šifrování, který ulehčí práci s videi a výrazně zvýší jejich zabezpečení proti neoprávněnému kopírování. V plánu je pak aplikace na evidenci stáží a praxí. V neposlední řadě se připravuje nový algoritmus pro vyhledávání plagiátů.

Magistr Daněk nabídl zúčastněným, chtějí-li se zapojit do testování nových funkcí odpovědníků, mohou se ozvat svému e-technikovi.

Závěr

Po diskuzi si slovo převzali zpět moderátoři a poděkovali všem prezentujícím i účastníkům. Připomněli, že tento ročník OSK byl jubilejní, desátý, a že mezi přítomnými účastníky je jeden, který nevynechal žádný z ročníků. Na pomyslné podium pozvali MUDr. Ondřeje Zahradníčka z Lékařské fakulty, kterému za přízeň a desetiletou věrnost poděkovali a věnovali malý dárek. Od pana doktora se konferenci na oplátku dostalo přání, aby v následujících letech řady účastníků konference rozšířil co největší počet nových tváří.

Následovalo vyhodnocení soutěže. Letošní soutěž byla tipovací a soutěžní otázka přiměla soutěžící k ohlédnutí za minulými ročníky konference. Tipovalo se, kolik prezentací na konferenci zaznělo od jejího prvního ročníku v roce 2011. Nejblíže správné odpovědi – 75 příspěvků – bylo 12 soutěžících, z nichž byli vylosováni tři šťastlivci, kteří od organizátorů dostali dárek.

Na závěr moderátoři shrnuli, že v programu zaznělo mnoho informací a vyjádřili naději, že si snad každý našel něco, co ho zaujalo, inspirovalo a motivovalo, neboť to je hlavní cíl celé akce a s účastníky se rozloučili s nadějí, že se příští rok zase společně sejdeme.