Vzájemné hodnocení

Vzájemné hodnocení představuje aplikaci v IS MU implementující pedagogický proces hodnocení, kdy se studenti hodnotí mezi sebou navzájem. V anglickojazyčné literatuře je tento pojem znám pod termínem „peer assessment“ nebo méně přesně „peer review“.

Základní rozdíl mezi výše zmíněnými termíny spočívá ve volbě tzv. hodnotitelů, tedy osob odpovědných za posouzení předkládaného díla či práce a vypracování posudku. Zatímco při procesu „peer assessment“ je typické, že odevzdávající i hodnotitelé jsou studenti a často pochází ze stejné množiny osob, tak v případě „peer review“ jsou hodnotitelé pečlivě vybíráni z řad odborníků dané oblasti s cílem kvalifikovaného a nestranného přezkoumání předložené vědecké práce při zajištění vysoké míry relevance. Základní mechanismus sběru i distribuce úkolů a výsledků je pro oba případy užití totožný.

Existuje řada důvodů, proč do výuky vzájemné hodnocení studentů zařadit. Následující seznam uvádí alespoň některé z nich:

• Při vypracovávání posudků studenti rozvíjí své kritické myšlení, schopnost objektivního pohledu na cizí práci a tvorbu konstruktivní kritiky.
• Studenti získávají zpětnou vazbu nejen od vyučujícího, autority, ale i od kolegů – jejich kritiku mohou studenti přijmout snadněji.
• Hodnotiteli mohou být i studenti úplně jiného předmětu, např. z vyššího ročníku, pro které může jít o součást přípravy na pedagogickou dráhu nebo o možnost zlepšovat další odborné kompetence.
• Aplikace jako hodnotitele dovoluje specifikovat i jednotlivé osoby, takže vyučující může skrze ni rozdělit opravování úkolů mezi své doktorské studenty či kolegy, kteří předmět neučí.
• Vyučující snadno získá větší množství posouzení libovolného množství prací, neboť se zvyšujícím počtem studentů se zvyšuje i počet hodnotitelů.

Vzájemné hodnocení je předmětová aplikace, tj. je navázaná na konkrétní předmět či předměty. Vyučující najde potřebné odkazy v agendě Učitel, v rozcestníku Záznamníku učitele.

Student má své odkazy v agendě Student, záložka Výuka.

Osoba, která je hodnotitelem a současně není studentem ani učitelem, najde odkaz na titulní straně IS MU v sekci E-learning.

Nápověda pro studenty (odevzdávající i hodnotitele) a pro hodnotitele, kteří nejsou studenty ani vyučujícími předmětu je k dispozici zde.

V aplikaci Vzájemné hodnocení

Postup založení vzájemného hodnocení je rozdělen do pěti bodů (resp. kroků):

1. Název vzájemného hodnocení: Vyplnění základních údajů jako je název, pokyny pro odevzdávající, datum zveřejnění (tj. datum, kdy se v IS MU zobrazí vzájemné hodnocení odevzdávajícím, nikoliv kdy proběhne distribuce prací či začne hodnocení), nastavení zasílání informačních e-mailů, upřesnění skrytosti identity odevzdávajících studentů (odevzdávajících) či hodnotitelů apod.

   

2. Odevzdání prací: Založení nové odevzdávárny či výběr z existujících. V případě zakládání nových odevzdáváren je třeba nastavit datum, do kdy studenti smí své práce vkládat. Za odevzdávající jsou během distribuce považováni pouze ti studenti, kteří vložili alespoň jeden soubor do některé z vybraných odevzdáváren.

   

3. Výběr hodnotitelů: V nejjednodušším případě stačí zapnout režim „Odevzdávající jsou hodnotiteli“. Alternativně lze specifikovat hodnotitele coby studenty předmětů či seminárních skupin, příp. individuálně dle učo. Nabízí se pouze ty předměty, na které má vyučující právo. IS si nastavení zapamatuje a reálné osoby vyhodnotí až v okamžiku distribuce úkolů hodnotitelům. Vzájemné hodnocení lze tedy nastavit již na samém začátku semestru.

   Odevzdá-li jeden student více souborů (i do více odevzdáváren), hodnotitel bude mít k dispozici všechny soubory od daného studenta. Jinak řečeno, hodnotitelům jsou „přiřazováni“ odevzdávající, nikoli jednotlivé soubory.

   

4. Nastavení atributů hodnocení: Učitel musí specifikovat začátek a konec hodnocení a kolikrát má být jeden odevzdávající hodnocen, příp. kolik prací má mít přiděleno jeden hodnotitel. V části „Úprava distribuce vzájemného hodnocení“ je možné nastavit hodnocení souborů učitele (viz otázka zde). Všechna nastavení musí být v době distribuce proveditelná, jinak distribuce selže. V tomto kroku lze též nastavit pozdější datum zveřejnění výsledků studentům, než je ukončení hodnocení. Jsou-li výsledky přenášeny do poznámkových bloků, k jejich zveřejnění dojde k tomuto datu.

   

5. Vytvoření hodnoticího formuláře: Vyučující má k dispozici pokročilý WYSIWYG (neform. zkratka „co vidíš, to dostaneš“) editor hodnoticího formuláře. Zde může specifikovat řadu otázek, kterými pak hodnotitele vede při tvorbě jeho posudku. K dispozici jsou otázky s jednou či více možnými odpověďmi, volným textem, hodnocení známkami a bodovým hodnocením. U každé otázky může vyučující určit, zda se její hodnota studentovi uloží do poznámkového bloku.

   

Vzájemné hodnocení umožňuje tyto základní kombinace:

• Odevzdávající i hodnotitelé jsou skupiny
• Odevzdávající jsou skupiny, hodnotitelé jsou jednotlivci
• Odevzdávající jsou jednotlivci, hodnotitelé jsou skupiny
• Odevzdávající i hodnotitelé jsou jednotlivci

V aplikaci

• Bez rozřazení – Odevzdávajícími nebo hodnotiteli jsou jednotliví studenti, nikoli skupiny.
• Studenty rozřadit náhodně – Vzájemné hodnocení založí rozpis s dostatečným počtem skupin (témat) a přihlásí k nim náhodně rozřazené studenty.
• Studenti se přihlásí sami – Vzájemné hodnocení založí rozpis s dostatečným počtem skupin (témat), ale nepřihlásí k nim žádné studenty.
• Rozřadit do skupin studenty ručně – Vyučující (tj. správce vzájemného hodnocení) vytvoří skupiny vložením seznamu učo studentů do editačního okna vzájemného hodnocení. Zároveň zde může přímo editovat budoucí název skupiny.
• Použít existující rozpis – Vyučující vybere rozpis, který v předmětu již dříve založil v aplikaci Rozpisy témat. Ke vzájemnému hodnocení se připojí přímo daný rozpis. Jeden rozpis smí být pomocí této možnosti připojen k právě jednomu vzájemnému hodnocení a nabízí se pouze rozpisy, které lze takto napojit.
• Zkopírovat existující skupiny – Vyučující i zde vybere rozpis, který v předmětu již dříve založil v aplikaci Rozpisy témat. Ke vzájemnému hodnocení se ale nepřipojí přímo tento rozpis, nýbrž jeho jednorázová kopie. Pokud mají být skupiny existujícího rozpisu využity pro vzájemné hodnocení podruhé a vícekrát, je potřeba zvolit tuto možnost.
  Případné změny názvu skupin, přihlašování studentů apod. je následně potřeba provádět na těchto zkopírovaných skupinách, nikoli na původním rozpise, mají-li se u vzájemného hodnocení projevit. Smějí-li existující rozpis upravovat studenti, je nezbytné je o tom informovat.

K rozdělení studentů do skupin vzájemné hodnocení využívá aplikaci Rozpisy témat v Záznamníku učitele daného předmětu, kdy skupinami jsou témata předmětového rozpisu a studenti přihlášení k tématu jsou členové takto pojmenované skupiny. Ve většině případů však v Rozpisech témat není nutné nic nastavovat.

Členy skupin mohou být pouze studenti předmětu, ve kterém se rozpis nachází, nebo těch předmětů, mezi nimiž je sdílen. Pokud je vzájemné hodnocení nastavované pro více předmětů, skupiny se vytvoří (nebo nastaví) tak, aby do nich mohli být přihlášeni studenti všech předmětů (podrobnosti níže).

V době začátku hodnocení se rozpisy se skupinami napojenými na vzájemné hodnocení takzvaně uzamknou. To znamená, že je již nepůjde editovat a k dispozici budou jen v režimu náhledu.

Podobně jako u vzájemného hodnocení jednotlivců lze i pro skupiny využít nastavení, že odevzdávající skupiny jsou stejné jako ty, které hodnotí. Odevzdávající i hodnotitelé rozřazení do skupin mohou být studenti různých předmětů nebo seminárních skupin.

Specifika skupin odevzdávajících:

• Jsou-li odevzdávající rozřazeni do skupin, tak je velmi žádoucí v bodu 1 „Název vzájemného hodnocení“ zaškrtnout možnost pro upozornění odevzdávající e-mailem, protože pouze tehdy aplikace pošle studentům informaci, že byli přihlášeni do skupiny pro vzájemné hodnocení nebo že se mají přihlásit.
• Skupiny odevzdávajících se vytvářejí k datu a času, kdy je vzájemné hodnocení zveřejněno studentům a následně jsou studenti o svém přihlášení či povinnosti se přihlásit informováni, pokud je to v bodu 1 nastaveno. Datum zveřejnění vzájemného hodnocení je tedy žádoucí nastavit dostatečně dlouho před datem odevzdání prací.
• Student je aplikací považován za člena skupiny, pokud se k ní přihlásí (je přihlášen) nejpozději v době začátku hodnocení prací.
• Aplikací vytvářené skupiny odevzdávajících se vytvářejí pro předměty, jejichž studenti mají právo odevzdat do některé z napojených odevzdáváren (pokud ještě smějí odevzdávat) nebo jejichž studenti mají v některé odevzdávárně vložený soubor (jde-li o již uzavřenou odevzdávárnu). Odevzdávárna se musí nacházet ve studijních materiálech předmětu, pro který je vzájemné hodnocení vytvořeno. Pokud má být vzájemné hodnocení skupin pro více předmětů, je třeba je nasdílet, viz Lze vytvořit vzájemné hodnocení, které je společné pro více předmětů?
• Skupina je aplikací považována za (úspěšného) odevzdávajícího v případě, že alespoň jeden člen odevzdá alespoň jeden soubor do alespoň jedné z napojených odevzdáváren. Takový soubor je považován za práci celé skupiny.

Specifika skupin hodnotitelů:

• Skupiny hodnotitelů vytvářené pomocí možností „Studenty rozřadit náhodně“, a „Rozřadit studenty do skupin ručně“ jsou vytvářeny až v době distribuce prací mezi hodnotitele. Skupiny hodnotitelů vytvářené pomocí možnosti „Studenti se přihlásí sami“ jsou vytvářeny k datu a času, kdy je vzájemné hodnocení zveřejněno studentům.
• Student je aplikací považován za člena skupiny, pokud se k ní přihlásí (je přihlášen) nejpozději v době začátku hodnocení prací.
• Celá skupina hodnotitelů má k dispozici jeden společný hodnoticí formulář a stačí, aby hodnocení zadal jeden člen skupiny, protože se předpokládá, že jde o výsledek společné práce. Doporučuje se, aby se celá skupina k hodnocení sešla u jednoho počítače (nebo přes videohovor) a hodnocení zadával jeden člen za všechny. Hodnoticí formulář nepodporuje souběžnou editaci více členy jedné skupiny.

Ano, při zakládání vzájemného hodnocení lze vytvořit jednu či více nových odevzdáváren nebo využít existující (i již uzavřené). Při užití existujících a zároveň neuzavřených odevzdáváren je nutné pohlídat korektní nastavení termínů pro odevzdání prací a začátku hodnocení.

Při použití již uzavřených (a tedy pracemi naplněných) odevzdáváren je vhodné zrušit zasílání e-mailu odevzdávajícím (nastavení v prvním kroku zakládání vzájemného hodnocení), které už nemá v tomto případě smysl.

Studenti, kteří odevzdají svůj první soubor až poté, co se uskuteční distribuce prací, nejsou považováni za odevzdávající. Pokud studenti smí měnit své práce i po začátku hodnocení, nabídne se hodnotiteli vždy ta verze souboru, která je aktuální ve chvíli, kdy se rozhodne ji ohodnotit.

Po zveřejnění výsledků je najdou jak v aplikaci Vzájemné hodnocení v roli odevzdávající, tak v poznámkových blocích, pokud vyučující nastavil, aby se do nich výsledky přenesly.

Téměř kdokoli, kdo je v Informačním systému MU aktivní a je přihlášen. Proto vstup pro hodnotitele vede i z titulní strany mimo studentské či učitelské agendy. Osoby, které nejsou studenty předmětu či seminární skupiny, je potřeba zadat prostřednictvím jejich učo.

Nápověda pro hodnotitele, kteří nejsou studenty ani vyučujícími předmětu je k dispozici zde.

Ve vzájemném hodnocení je možné skrýt identitu hodnotitelů i odevzdávajících. Nastavená pseudonymita zajistí, že se nikde v aplikaci nezobrazí jméno ani UČO hodnotitele/odevzdávajícího a odevzdané soubory se přejmenují tak, aby je nešlo spojit s názvem souboru v odevzdávárně. Aplikace Vzájemné hodnocení ale nemaže metadata z odevzdaných souborů ani nekontroluje jejich obsah. Pokud se tedy odevzdávající přímo do své práce podepíše nebo v souboru ponechá metadata (např. autor dokumentu ve Wordu), i přes nastavenou pseudonymitu může hodnotitel ve vzájemném hodnocení identitu odevzdávajícího odhalit.

Učitelé předmětu znají identitu odevzdávajících a hodnotitelů vždy.

Pseudonymita se nastavuje při založení nového vzájemného hodnocení:

nebo při úpravě vzájemného hodnocení:

Ano, po provedení distribuce se po rozkliknutí dlaždice vzájemného hodnocení v roli správce zpřístupní odkaz „Přehledy“, kde jsou seznamy odevzdávajících a hodnotitelů. Zobrazují se zde souhrnné informace o tom, jak odevzdávající a hodnotitelé plní své formální povinnosti dané jejich rolemi. Tyto seznamy může vyučující exportovat a dále zpracovávat. Zároveň zde vyučující uvidí např. odkazy na samotná hodnocení, odevzdané práce a případně součty přidělených či obdržených bodů.

Kromě toho lze přes odkazy „Odevzdávající“ a „Hodnotitelé“ v režimu „pouze pro čtení“ sledovat, jak hodnotili nebo jak byli hodnoceni. Všechny tyto možnosti nabízí stejná data, jen jsou jinak seskupena. Vyučující zde vždy vidí identitu hodnotitelů i odevzdávajících, a to bez ohledu na nastavení vzájemného hodnocení a jeho případnou roli v něm.

Vyučující nemůže měnit hodnocení za hodnotitele. Jsou-li však výsledky exportovány do poznámkových bloků, např. za účelem výpočtu průměru a závěrečné klasifikace, tak tyto bloky může upravovat přímo a podle svého uvážení.

Ano, a to výběrem možnosti „Smazat“ na dlaždici vzájemného hodnocení (jako správce). Tímto způsobem je možné zrušit jakékoli chybné či aktuálně probíhající vzájemné hodnocení. Po uplynutí data konce hodnocení je už ale smazat nelze. Pokud je již vzájemné hodnocení zveřejněno odevzdávajícím nebo již probíhá hodnocení, přijde odevzdávajícím či hodnotitelům po jeho zrušení informační e-mail.

Zrušená vzájemná hodnocení je možné nalézt přes možnost „Vytvořit kopii“ na kartě „Neuložené“. Nastavení ze smazaného vzájemného hodnocení tak lze využít jako základ (šablonu) k vytvoření nového, podobným způsobem je zde možné dohledat i různé neuložené verze.

Nikoli. Po ukončení hodnocení už vzájemné hodnocení nelze zrušit. Zveřejnění výsledků studentům lze dočasně odložit, toto nastavení je ale možné měnit jen u připravovaných či probíhajících hodnocení.

Zde je rozdíl, jestli mají mít všichni studenti vzájemné hodnocení v jednom (cizím) jazyce, nebo zda má mít část studentů stejné hodnocení česky a část anglicky.

Pokud mají mít všichni studenti jednu jazykovou mutaci vzájemného hodnocení, ať už anglicky nebo v jiném jazyce, stačí v požadovaném jazyce vyplnit verzi formuláře jinak určenou pro češtinu (resp. hlavní jazyk vzájemného hodnocení), viz otázka č. 4 výše. Všechny položky nastavení včetně hodnoticího formuláře je možné vyplnit i v jazycích, které využívají jiné písmo než latinku. (Číslice v nastavení priority distribuce či u přidělovaných bodů vždy musí být arabské.) Stejně tak mohou různé jazyky využít i hodnotitelé.

Pokud má mít část studentů vzájemné hodnocení v češtině a část anglicky podle toho, do jakého jazyka mají přepnutý IS, tak je potřeba v 1. kroku nastavení rozkliknout ikonku „+EN“ a vyplnit položky tak, jak jsou popsány. Česky i anglicky je potřeba vyplnit i formulář pro hodnotitele v 5. kroku.

Informační e-maily odevzdávajícím a hodnotitelům přicházejí v té jazykové verzi, do které mají přepnutý IS.

Ano, je-li to ve vzájemném hodnocení nastaveno pomocí atributů „[ ] Hodnotit soubory učitele“ a „[ ] všemi hodnotiteli“ (4. krok Nastavení atributů hodnocení). Pokud není žádný z těchto dvou atributů zaškrtnut, soubory vložené vyučujícími do napojených odevzdáváren se během distribuce ignorují. Tj. vyučující nemůže do odevzdávárny vložit soubor za studenta (např. poslaný e-mailem).

Jsou-li atributy zaškrtnuty takto:

Jsou-li atributy zaškrtnuty takto:

Pokud mají být hodnoceny pouze soubory vyučujících, je potřeba jako prioritu distribuce nastavit četnost 0krát.

Tímto způsobem lze například vyřešit požadavek, aby hodnotitelé dostali k dispozici vzorově vypracovaný úkol.

Stávající možnosti aplikace zatím neumožňují vyřešit požadavek, kdy chce vyučující mezi studenty rozdat x souborů tak, aby vždy jeden student obdržel právě jeden soubor vyučujícího (každému hodnotiteli se totiž od vyučujícího vždy přiřadí všechny soubory).

Změnu data, do kdy lze hodnotit, je možné u vzájemného hodnocení provést (ve 4. kroku při nastavování atributů hodnocení) ale pouze za předpokladu, že ještě nenastal konec hodnocení. Tj. pozor, po uplynutí doby, do kdy lze hodnotit, již interval prodloužit nejde. Datum lze změnit jen do budoucnosti a tato změna je nevratná. Spolu s tím je potřeba adekvátně upravit dobu zveřejnění výsledků.

Jiná nastavení týkající se hodnocení není možné po začátku hodnocení měnit.

Při zakládání vzájemného hodnocení jde vzájemné hodnocení vytvořit také pomocí tlačítka „Vytvořit kopii“. Vyučující pak může vybrat z existujících vzájemných hodnocení daného předmětu (záložka „Navrhované“) i ze vzájemných hodnocení v jeho ostatních předmětech (záložka „Dle období“). Ve vytvořené kopii je kromě názvu a data zveřejnění (1. krok) vždy potřeba upravit napojení na odevzdávárny (2. krok) a data související s hodnocením (4. krok). Záložka „Neuložené“ umožňuje využít nastavení smazaných či neuložených (tedy rozpracovaných) vzájemných hodnocení.

Ano. Pokud je potřeba, aby byla do nového semestru překopírována všechna vzájemná hodnocení z předchozího semestru (nebo jiného předmětu), jde k tomu využít možnost „Kopírování a sdílení studijních materiálů“.

Cílový předmět musí mít prázdné studijní materiály, proto se tato možnost typicky využívá na začátku nového semestru. Tímto způsobem překopírovaná vzájemná hodnocení se v cílovém předmětu zobrazí po překopírování jako chybná/neúplná.

Vzájemné hodnocení se sdílí mezi všemi předměty, které jsou při jeho založení nebo úpravě vybrané v Záznamníku učitele.

Tyto předměty lze v Záznamníku učitele vybrat přes možnost „jiné předměty“, poté zaškrtnout všechny předměty, mezi nimiž se má vzájemné hodnocení sdílet, a potvrdit tlačítkem „Vybrané“. Všechna vzájemná hodnocení, která vyučující s těmito vybranými předměty založí (nebo u nich klikne na možnost „Upravit“ a následně je uloží), se mezi nimi budou sdílet. Pokud vyučující zvolí „Zavřít bez uložení“, sdílení mezi předměty se nenastaví.

Sdílení vzájemného hodnocení mezi předměty nejde zrušit. Pokud sdílení není žádoucí, tak je možné vzájemné hodnocení smazat a vytvořit z jeho nastavení nové vzájemné hodnocení (tedy jeho kopii). Ne vždy je to ale potřeba. Odevzdávajícími jsou vždy studenti předmětu (v němž se vzájemné hodnocení nachází), kteří odevzdali alespoň jeden soubor do připojené odevzdávárny (nebo k tomu mají právo) a hodnotitelé jsou určeni podle nastavení ve 3. kroku. Jiní studenti nemají ke vzájemnému hodnocení přístup a nechodí jim žádné informační e-maily, jen ho mohou vidět ve své agendě Student, v záložce Výuka.

Pro vzájemné hodnocení je možné využít všechny typy souborů, které lze vložit do odevzdávárny ve Studijních materiálech. Jiné omezení vzájemné hodnocení nemá.

Při hodnocení videa (nebo zvukové nahrávky) vytvořeného studenty může být jimi použitý formát problematický, pokud nejde přehrát přímo v prohlížeči, případně pokud jej lze přehrát jen na zařízeních s určitým operačním systémem apod. Jako prevenci doporučujeme požádat studenty, aby nahrané video (nebo audio) převedli do formátu HTML5, který lze i ve vzájemném hodnocení přehrát přímo v prohlížeči bez nutnosti stahování. V případě potřeby může tento převod (ale nikoli vložení souboru do odevzdávárny) provést i vyučující.

Postup pro převod do formátu HTML5 je podrobně popsán v Nápovědě zde. Převod je možné provést pro více zaškrtnutých souborů najednou. Je třeba počítat s tím, že převod nemusí proběhnout ihned, ale může nějakou dobu trvat.