Systém pro vzájemné hodnocení studentských textů v předmětu Akademické psaní Jiří Poláček Středisko vědeckých informací ESF MU Lipová 41a, 602 00 Brno polacek@econ.muni.cz, WWW: http://svi.econ.muni.cz/ Abstrakt Není v silách učitele přečtení stovek či dokonce tisíců studentských textů. Hodnocení textů studenty navzájem může být vhodným řešením takového problému. Článek pojednává o způsobu realizace a získaných zkušenostech z experimentálního nasazení právě takové metody v e-learningovém kurzu Akademické psaní. Jsou popsány motivační efekty (jak to pomůže lektorům a proč by to mělo být přínosné pro studenty), vstupní předpoklady (co a jak se bude hodnotit) i samotný systém vzájemného hodnocení textů v podobě webové aplikace. V závěru článek shrnuje nejcennější studentské ohlasy, které odráží plusy a mínusy celého procesu psaní a recenzování, a podává číselný přehled o výsledcích hodnocení. Klíčová slova: akademické psaní, vzájemné hodnocení, peer learning, e-learning, recenze, odborný text, aktivizace studentů 1 Úvod Na začátku akademického roku jsme stanuli před opravdovou výzvou – vedeme předmět s výmluvným názvem Akademické psaní, do kterého je zapsáno bezmála 1 700 studentů, a přemýšlíme, jak vyhovět primární náplni tohoto kurzu, neboť co by to bylo za akademické psaní, pokud by studenti pro absolvování tohoto předmětu nemuseli napsat ani čárku? Cílem e-learningového kurzu Akademické psaní je naučit vysokoškolské studenty pracovat s relevantními zdroji informací a ty správně citovat, představit jim strukturu, proces vzniku i následnou obhajobu akademického textu a v neposlední řadě též seznámit s metodami a technikami vědeckého výzkumu [1]. Kurz jsme rozdělili do pěti dvoutýdenních lekcí, které vždy obsahovaly dvě základní složky – studium nových poznatků a plnění povinných domácích úkolů v zadaných termínech. Nejzajímavějšími úkoly byly napsání vlastního odborného textu (u třetí lekce) a hodnocení přidělených textů svých spolužáků (u čtvrté lekce). Na koncepci a realizaci systému se spolupodílel Jaroslav Nekuda, vedoucí SVI ESF MU, nekuda@econ.muni.cz 2 Jiří Poláček 2 Myšlenka vzájemného hodnocení studentských textů Iniciační úvahy, které nás navedly k myšlence vzájemného hodnocení mezi spolužáky, jsou ryze pragmatické – aby psaní mělo pro studenty nějaký smysl, musí si tento text někdo jiný přečíst a ohodnotit. Při očekávaném počtu více než tisíc prací je však individuální přístup učitelů za obvyklých podmínek nerealizovatelný. Jediné, čeho je dostatek, jsou sami studenti – není proto divu, že se nabízí, aby se ohodnotili navzájem. Frekventantům kurzu jsme tedy předložili následující zadání domácích úkolů: 1. úkol – napsání vlastního textu: Za domácí úkol napište text o celkovém rozsahu 2 000–3 000 znaků (s mezerami). Jeho obsahem bude následující otázka: Co mě v oboru mého studia anebo souvisejících oblastech zaujalo, co by stálo za prozkoumání, co bych chtěl(a) třeba v budoucnosti zpracovat jako seminární / bakalářskou nebo diplomovou práci – čili formulace určitého tématu a výzkumné otázky. Dále napište krátké zdůvodnění toho, proč a pro koho by mohlo být řešení tohoto tématu / výzkumné otázky zajímavé, užitečné nebo přínosné.1 2. úkol – hodnocení textů svých spolužáků: Vaším úkolem bude přečíst a podle zadaných kritérií „oznámkovat“ pět úloh vašich spolužaček/spolužáků. V systému se vám objeví pět náhodně vybraných textů, každý text si pozorně přečtěte a ohodnoťte ho podle následujících kritérií známkami „jako ve škole“: zajímavost tématu, výstižnost výzkumné otázky, užitek vzniklý vyřešením výzkumné otázky a celková srozumitelnost a kultivovanost textu. K hodnocení můžete dopsat zpětnou vazbu pro autora – čemu jste třeba nerozuměli, jak se vám nápad líbil, co by bylo možné zlepšit apod. Hodnoťte, prosíme, objektivně a nezaujatě. Vyjma vlastního zadání úkolů je však zapotřebí dořešit i celou řadu otázek: Budou mít studenti pro nečekanou roli recenzenta dostatečnou motivaci? Jak můžeme zajistit a zkontrolovat, že všichni studenti svědomitě přečetli a ohodnotili jim přidělené texty? Jak to celé zrealizovat po technicko-organizační stránce věci? Bude to vůbec fungovat? Je zřejmé, že na poslední otázku nelze s jistotou odpovědět, dokud myšlenku nezrealizujeme. Rozhodli jsme se proto popisovaný záměr uskutečnit formou experimentu – s vědomím toho, že v případě neúspěchu jej můžeme „odepsat“, aniž by se to projevilo na výsledné klasifikaci studentů. 3 Motivace studentů a další determinující faktory Psaní a hodnocení textů jsme stanovili jako povinné úkoly – jejich splnění je nutné k získání zápočtu. Navíc je možné za splněný úkol získat bodovou bonifikaci k zápočtovému testu (v závislosti na tom, jak dobře je úkol splněn), za nesplněný úkol se naopak body odečítají2 . 1 Studenti si volitelně mohli zvolit, že napíší kratší text, ve kterém zdůvodní, proč „nemají nápad“. Takový text nebyl hodnocen spolužáky, nebyla však za něj žádná bodová bonifikace. 2 Pokud student nenapíše vlastní text ani nebude hodnotit texty svých spolužáků, již prakticky nemá šanci získat zápočet z předmětu. Systém pro vzájemné hodnocení studentských textů 3 Stanovení domácích úkolů jako povinných však samo o sobě nezaručuje jejich zodpovědné plnění – zde zůstává rizikový faktor celého experimentu – zda studenti přistoupí na pravidla naší hry. Pro eliminaci rizika neúspěchu jsme si definovali následující determinanty vymezující základní rámec experimentu: – Stanovení účelu vlastního psaní a vzájemného hodnocení – v prvé řadě účelem není nalezení nejlepších textů – účelem je samotný proces plnění úkolů. Pro studenty má smysl vymyslet a sepsat krátký akademický text, protože si jej určitě někdo přečte, a následně pro studenty může být přínosné dozvědět se, jak si se stejným zadáním úkolu poradili jeho spolužáci. – Vícenásobné recenze – rozhodným argumentem pro realizaci experimentu byl také předpoklad, že každý text bude hodnocen více než jedním studentem. Počet textů přidělovaných k recenzi jsme nastavili tak, aby každý text byl minimálně pětkrát ohodnocen. Takovýto počet hodnocení již pomůže kompenzovat jistou míru nekompetentnosti – tj. skutečnost, že studenti hodnotí něco, co se sami teprve učí. – Anonymní recenze – v rámci zajištění objektivity je z uživatelského hlediska hodnotící systém koncipovaný jako „double blind review“, tj. studenti neví, koho texty hodnotí, ani kdo hodnotil jejich texty. Popisované vazby „kdo koho hodnotil“ jsou dostupné pouze vyučujícím. – Dohled supervizora – promyšlený systém vzájemného hodnocení ještě nutně neznamená, že by role vyučujícího měla být odstavena na vedlejší kolej. Naopak – učitel má jedinečnou příležitost monitorovat průběh plnění úkolů, může si prohlížet žebříčky nejlepších a nejhorších prací, nejmírnějších i nejpřísnějších recenzentů či přehledy slovních komentářů. Ze své pozice tak může v případě potřeby usměrňovat „nežádoucí jevy“. 4 Technicko-organizační stránka K distanční povaze vyučovaného kurzu jsme celkem přirozeně hledali řešení korespondující s ostatními výukovými metodami, tj. vhodnou webovou aplikaci. Automatizovaný sběr textů není v dnešní době problém, využili jsme stávajících e-learningových nástrojů univerzitního informačního systému, který nám zároveň zajistil i antiplagiátorskou kontrolu. Překážku však představovala absence dostupného systému, který by bylo možné využít jako recenzní nástroj – po zvážení náročnosti takového nástroje jsme se rozhodli naprogramovat si jej vlastní, a to včetně návrhu databáze, zálohování dat, metod zabezpečení přístupu i následného monitorování provozu a generování statistik. Největší výhodou vlastního systému je jeho přizpůsobení přesně našim požadavkům a flexibilita v sestavování nejrůznějších reportů. Ve fázi recenzování je při prvním přihlášení do systému každému uživateli přidělen stanovený počet textů k recenzi. Přidělování textů probíhá usměrněným náhodným výběrem – vybírá se z množiny cizích textů, které mají v daný okamžik nejméně přidělených recenzentů, nemůže se tedy stát, že by někdo hodnotil vlastní text, nebo že by nějaký text měl být hodnocen výrazně více recenzenty, 4 Jiří Poláček zatímco na jiný text by se mohlo „pozapomenout“ – přidělené počty se z principu distribuce mohou lišit maximálně o jedničku. Z hlediska uživatele byl systém na vzájemné hodnocení textů navržen jako maximálně jednoduchý a přímočarý – po přihlášení uživatel vidí seznam textů přidělených k ohodnocení a u každého textu pak hodnotící formulář, ke kterému se může – do předepsaného termínu na splnění úkolu – opakovaně vracet. Obrázek 1. Ukázka webového prostředí systému interně pojmenovaného „Dněprostroj“ – formulář pro zadávání hodnocení vybraného textu 5 Jednotlivé fáze experimentu Souhrn získaných zkušeností začneme drobnou rekapitulací uskutečněného experimentu vsazenou do časové osy: 1. analýza problému – stanovení cíle experimentu a způsobu provedení, hrubý nástin parametrů – termíny, rozsahy textů, počty recenzí, bodová ohodnocení 2. formulace zadání úkolů – předpokládaný rozsah a struktura textu, stanovení hodnotících kritérií 3. příprava hodnotícího systému – návrh databáze, programování aplikace, testovací provoz na zkušebních textech, zálohování 4. vypracování prvního úkolu studenty – napsání a odevzdání textu, vyplnění zpětné vazby 5. zpracování odevzdaných textů – antiplagiátorská kontrola, přesun do hodnotící databáze, kontrola rozsahů, vydělení textů „bez nápadu“ 6. pokyny k hodnotícímu úkolu – formulace zadání, sepsání uživatelské nápovědy, rozeslání osobních přihlašovacích údajů Systém pro vzájemné hodnocení studentských textů 5 7. hodnocení textů studenty – průběžné kontroly, vyplnění zpětné vazby 8. zpracování výsledků – zveřejnění hodnocení a žebříčku nejlépe ohodnocených prací, udělení bodů3 , zpětná vazba 9. analýza přínosu realizovaného experimentu – zpracování zpětné vazby, soupis zkušeností, shrnutí 6 Nejcennější poznatky – ohlasy studentů Jak vyplývá z časové osy, měli studenti hned třikrát možnost vyjádřit svůj názor k popisovanému experimentu formou slovních komentářů – po napsání svého textu, po ohodnocení textů svých spolužáků a nakonec po zjištění, jak jejich vlastní text byl ohodnocen. Následující odstavce shrnují nejzajímavější postřehy a připomínky, doslovný přehled všech souvisejících komentářů je v [2]. V komentářích po napsání vlastního textu jednoznačně převládala výhrada, že úkol je příliš těžký pro studenty prvního ročníku, kteří jsou na vysoké škole sotva dva měsíce. V několika případech však po této výtce následoval dovětek, že o užitečnosti takového úkolu nepochybují. Jiní zase postrádali nějakou šablonu či ukázkový příklad, podle kterého by se mohli řídit. Až na pár výjimek (které úkol označily například jako „zabíječe času“) však lze konstatovat, že úkol byl studenty akceptován. Po hodnocení textů svých spolužáků byla zpětná vazba vesměs pozitivní – možnost recenzovat cizí práce se studentům zamlouvala. V ohlasech je i pár přiznání k ponaučení: „po srovnání jsem se musela začít stydět, s jakým textem jsem se předvedla já sama“. Objevilo se nicméně také několik záporných reakcí, kdy se úkol zdál příliš obtížný a jakoby „proti srsti“ studenskému uvažování: „při hodnocení prací svých kolegů jsem měla velmi nepříjemný pocit“. V malé, nikoliv však zanedbatelné míře, se zpětnovazebné komentáře dotkly jazykové bariéry. Významná část studentů kurzu pochází ze Slovenska (18,8 %), takže zákonitě někteří čeští studenti museli hodnotit i slovenské texty (a naopak), což – hlavně českých studentům – činilo potíže: „jsem na české škole a nešla jsem na MU, abych musela číst slovenské texty“. V poslední zpětné vazbě, kdy již studenti znali hodnocení svého textu, převládaly negativní ohlasy nad těmi pozitivními. Z komentářů je jasně patrné rozčarování nad získaným hodnocením, které nebylo tak dobré, jak očekávali, přičemž často sváděli vinu na své spolužáky, kteří nejsou „dostatečně způsobilí“ k hodnocení či prostě a jednoduše úkol „odbyli“. Většina kritiků se však shodla v tom, že dobrovolný slovní komentář k udělovaným hodnocením by měl být povinný. V některých studentech však „nadšení“ přetrvalo, vzájemné hodnocení ocenili jako dobrou životní zkušenost a nebylo by jim proti mysli si to zopakovat. Celkově lze konstatovat, že ohlasy studentů byly velice inspirativní a nabídly nám celou řadu nápadů, co vylepšit pro příště – více viz závěr článku. 3 Na základě udělených hodnocení textů jsme jejich autorům přiznali bonusové body – deset nejlepších prací bylo odměněno třemi body; ostatní práce byly v odstupňovaných rozestupech bonifikovány v rozmezí 2–0,5 bodu, žádný student „s nápadem“ tak neodešel s prázdnou. 6 Jiří Poláček 7 Výsledky vzájemného hodnocení v číslech Celkem jsme od studentů vybrali 1 293 textů, z toho 1 161 z nich bylo hodnocených (zbylé texty tvořily zdůvodnění, proč „nemám nápad“). Doličné texty recenzovalo 1 332 studentů, souhrnně se tak sešlo 6 567 hodnocení. Možnost doplnit známkové hodnocení o slovní komentář využilo alespoň u jednoho textu 561 recenzentů, 174 z nich dopsalo komentář ke všem jim přiděleným textům, čímž dosáhli téměř polovičního podílu (870) na celkovém počtu slovních komentářů (1 790). Slovní komentář tak byl součástí cca 27 % všech hodnocení. Celkový obraz o tom, jaké známky recenzenti nejčastěji volili, podává následující histogram průměrů známek za jednotlivá hodnocení – spolužáci se ukázali jako kolegiální a používali spíše lepší hodnocení. Hned 15 studentů pro hodnocení všech textů nepoužilo jinou známku než jedničku, na druhém konci pomyslného žebříčku kritiků pak máme pět studentů, jejichž průměr udělených hodnocení se pohybuje okolo známky 4. Obrázek 2. Studenti kolegiálně udíleli svým spolužákům spíše lepší známky Mezi průměry známek podle jednotlivých ukazatelů není velký rozptyl, lépe byly hodnoceny „zajímavost tématu“ (1,78) a „celková srozumitelnost (1,88), hůře pak „výstižnost výzkumné otázky“ (2,19) a „vzniklý užitek“ (2,26). Známka „6“ znamenající není možné hodnotit byla použita celkem 829×, což představuje 3,1 % ze všech udělených známek. 8 Risk se bohatě vyplatil Experiment se psaním a vzájemným hodnocením studentských textů se jednoznačně osvědčil a jsme rozhodnuti tento systém používat a rozvíjet i nadále. Na základě získaných zkušeností lze rekapitulovat následující pozitiva: Systém pro vzájemné hodnocení studentských textů 7 – studenti byli donuceni zamyslet se nad obsahem a výstavbou vlastního – byť krátkého – akademického textu; – studenti napsali školní slohovou práci a prezentovali tak své myšlenky, které si přečetlo a ohodnotilo minimálně pět jiných osob; – studenti dostali netradiční příležitost seznámit se s problematickou hodnocení odborných textů z pohledu recenzenta a zároveň porovnat výsledky své práce s vybranými spolužáky; – systém úkolů výrazně pomohl aktivizovat studenty v průběhu semestru; – učitelé na fakultě získali inspirativní zásobník nápadů na seminární, diplomové a bakalářské práce; – a samozřejmě lektoři Akademického psaní nemuseli sami pročítat a hodnotit stovky a stovky domácích úkolů. Experiment ukázal také několik nedostatků, které budeme řešit: – studenti by měli mít k dispozici ukázkové texty a více času na přípravu; – slovní komentář u hodnocení by měl být povinný, přičemž můžeme zapracovat na oceňování užitečných komentářů; – vzhledem ke zjištěné jazykové bariéře by se nemělo stávat, že student dostane náhodně přiděleno více textů v jiném než rodném jazyce. Celkově máme za to, že systém vzájemného hodnocení studentských prací se nemusí omezovat jen na předmět Akademické psaní, ale po odpovídající přípravě může být nasazen i v jiných předmětech, přičemž porovnávanými domácími úkoly nemusí být jen texty, ale kupříkladu i jiné kreativní výtvory – počítačové programy, prezentace či multimediální soubory. Reference 1. Sylaby předmětu Akademické psaní [online]. Podzim 2010 [cit. 2011-03-07]. Dostupné na WWW: 2. Vybrané ohlasy studentů v předmětu Akademické psaní s vazbou na psaní textu a vzájemné hodnocení [online]. Podzim 2010 [cit. 2011-03-07]. Dostupné na WWW: Annotation: It is not in teacher’s capabilities to read hundreds or even thousands students’ texts. Possible solution is to let students evaluate texts each other. This paper deals with an implementation and lessons learned from an experimental deployment of such method within the e-learning course Academic writting. The motivation factors (how it can help tutors and why it should be profitable for students), input prerequisites (what will be evaluated and how) and the peer text review system in the form of web application are described below. In conclusion, the paper sums up the most valuable students’ responses which reflect the pros and cons of the whole writting and reviewing process. Statistical results of evaluations are provided as well.