Vybrané metody výzkumu
Na tomto místě bychom se rádi zastavili u některých metod, které mohou být užitečné pro výzkum psychologických aspektů při práci v online kurzu nebo obecně v digitálním prostředí. Nemůžeme zde popisovat všechny pedagogické a psychologické metody testování, ale rádi bychom naznačili alespoň některé základní směry či možnosti, které mohou být snadno aplikovatelné a přináší jednoznačné výsledky.
Dle našeho soudu by mělo být základem pro design libovolného vzdělávacího produktu, který má ambici být někdy opakován, schéma evidence based learning,415 který stojí na myšlence cyklické inovace produktu. Ta tvoří cyklus, který obsahuje například následujícími body (lze se setkat také s modely s větším i menším počtem kroků):
1. Identifikace problému či tématu, které vychází z praxe
2. Sběr dat
3. Práce s daty a ověřování hypotéz
4. Návrh opatření
5. Implementace
6. Změření účinku
- 415 - CLARK, Ruth C; NGUYEN, Frank; SWELLER, John. Efficiency in learning: Evidence-based guidelines to manage cognitive load. John Wiley & Sons, 2011. nebo CRANNEY, Jacquelyn; MCDONALD, Fiona. Evidence-Based Learning. In: Encyclopedia of the Sciences of Learning. Springer US, 2012. p. 1185-1188. či 65 STEINER, Florian Eitel, Sibylle. Evidence-based learning. Medical Teacher, 1999, 21.5: 506-512.
Podstatné pro naši metodologickou část je především fakt, že k inovacím by mělo docházet neustále a že výzkum, ať již efektivity vzdělávání, metakog-nitivních prvků či čehokoli jiného, je vždy spojen se snahou o zlepšení kvality služby a její rozvoj. Současně každá inovace by měla být koncipována tak, aby byla měřitelná a její efektivita či smysluplnost by neměla být hodnocena pouze subjektivním názorem tutora či designera, ale měla by vycházet ideálně z reálného chování studentů.
Metody, se kterými budeme pracovat, kombinují metody psychologické, edukační, UX a designerské do jednoho celku. V online vzdělávání jde totiž o nerozlučitelný komplexní svazek pohledů, z nichž všechny jsou důležité pro pochopení efektivity a smysluplnosti kurzu, ale také pro studium chování studenta a jeho pochopení v širším kontextu.416
Proto jsme se rozhodli učinit výběr deseti metod, které v této oblasti vnímáme jako kruciální a se kterými by se mělo jistě pracovat. Je ale logické, že jejich reálná implementace, stejně jako užívání dalších metod, bude závislá na konkrétních výzkumných záměrech a designu edukačního projektu.
A/B testování
Jednou z nejjednodušších metod testování webových stránek nebo materiálů či libovolných jiných porovnatelných artefaktů je A/B testování,417 které má svou oporu především v marketingu a webovém designu. Je založené na myšlence, že vytvoříme dvě varianty jednoho objektu a ty distribuujeme mezi dostatečně široké množství lidí, kteří je mohou testovat. Následně měříme efektivitu nebo kvalitu daného výstupu a provádíme jejich vzájemnou komparaci.418
Metody, které lze využít pro zjišťování efektivity, záleží na tom, co potřebujeme sledovat. Nejčastěji pracujeme s webovou analytikou, takže sledujeme například prokliky, různé druhy akcí či čas strávený na webu a podle něj se můžeme rozhodovat. Lze ale pracovat také s dalšími metodami jako je klikání na „líbí / nelíbí", jednoduché dotazníky či rozhovory. Většinou se ale snažíme, aby byla zpětná vazba získávána co možná nejjednodušeji a nejvíce automaticky, neboť jde o metodu, která vyžaduje maximálně široký vzorek.
U A/B testování je kritickým místem (mimo správného nastavení metrik, protože vzdělávací objekty je budou mít složitější než například e-shop)
- 416 - Další metody lze najít například u ZBIEJCZUK SUCHÁ, Ladka. 100 Metod [online]. 2017 či ve známých příručkách jako je DISMAN, Miroslav. Jak se vyrábí sociologická znalost. Karolinum Press, 2011. — 417 — KRATINA, Tomáš. Návrh systému pro A/B testování webových stránek. 2017. — 418 — Srov. BAESENS, Bart. Analytics in a big data world: The essential guide to data science and its applications. John Wiley & Sons, 2014. nebo HANINGTON, Bruče; MARTIN, Bella. Universal methods of design: 100 ways to research complex problems, develop innovative ideas, and design effective solutions. Rockport Publishers, 2012.
práce se vzorkem. Ten musí být dostatečně široký a pestrý, nemělo by docházet k tomu, že jednu variantu budeme ukazovat jedné sociální skupině a druhou jiné a snažit se pak porovnávat výzkumná data. Existují nástroje, které A/B testování přímo umožňují,419 avšak lze ho realizovat také bez nich.
A/B testování má také varianty s nerovnoměrným zobrazováním jedné z možností nebo také tzv. A/B/C mód, kdy testujeme vedle sebe nikoli dvě, ale více možností. Toto řešení může být vhodné především tam, kde existuje více rovnocenných variant, z nichž by bylo problematické stanovovat pořadí.
Výhodou této metody je, že pracuje s reálnými uživateli vzdělávacích objektů, webů či služeb a že je možněji snadno kombinovat s dalšími metodami. Ať již s webovou analytikou nebo metodami kvalitativními.
Webová analytika
Jedním ze zdrojů dat, která by měl asi každý online kurz, vzdělávací web nebo i aplikace využívat, jsou ty, která pochází z nástrojů pro měření chování uživatelů na webu. Tyto systémy nabízejí na jednu stranu velice přesná a podrobná čísla, na druhou stranu je nutné říci, že část z nich může být zatížena vyhledávacími roboty a někdy je také problematické odlišit studenty od náhodných návštěvníků, což může být v některých případech důležité.420
Data jsou prostřednictvím nástrojů webové analytiky získávána automaticky, uživatelé s nimi nemusí nijak interagovat, pracovat, nic nevyplňují. Jde tak o poměrně dobrý zdroj informací o informačním chování a celkovém využívání webu. Není přitom zvykem na tyto nástroje uživatele upozorňovat, jakkoli například měřící kód z Google Analytics421 mohou snadno najít ve zdrojovém kódu. Tyjsou také asi nejznámějším a nejlepším nástrojem na běžnou analýzu návštěvnosti.422
Pokud jde o data, která lze tímto způsobem zjišťovat, tak se nabízí základní geografické údaje, informace o technickém zařízení, kterým je obsah konzumován, podíl mobilního a klasického prohlížení, čas strávený na stránce, počet zhlédnutých stránek během návštěvy, počty nových a vracejících se uživatelů, čtenost jednotlivých stránek nebo zdroje návštěvnosti. Tato základní data mohou být filtrována a lze s nimi dále pracovat.423
— 419 — Alternatives to Google Analytics Content Experiments. Alternativě to [online]. 2017. — 420 — PHIPPEN, Andrew; SHEPPARD, L; FURNELL, Steven. A practical evaluation of Web analytics. Internet Research, 2004, 14.4: 284-293. - 421 - CLIFTON, Brian. Advanced web metrics with Google Analytics. John Wiley & Sons, 2012. - 422 - LEDFORD, Jerri L; TEIXEIRA, Joe; TYLER, Mary E. Google analytics. John Wiley and Sons, 2011.
— 423 — GONCALVES, Bruno; RAMASCO, José J. Human dynamics revealed through Web analytics. Physical Review E, 2008,78.2: 026123.
Webovou analytiku lze využívat více způsoby. Předně dává základní informace o tom, jak se uživatelé dané edukační služby chovají. Lze si pomocí ní například vytvořit představu o tom, na jaké odkazy uživatelé klikají, co je zajímá, jaké části jsou pro ně náročné nebo zda se vyplatí pro ně vyvíjet mobilní aplikaci.
Lze je také využít pro sledování různých cílů a metrik, které si stanovíme z hlediska aktivit, které od studentů očekáváme, mohou pomoci měřit efektivitu změny v designu nebo odhalovat špatnou či příliš složitou informační architekturu.424
Jde o metodu kvantitativní, která ale neposkytuje příliš vysvětlení, takže spíše umožňuje měřit efektivitu změn nebo hledat otázky, na které se lze zaměřit jinými metodami. Mohou posloužit při kontinuálním zlepšování služby, kdy měříme změny, které souvisí s každou inovací, a můžeme je relativně rychle vyhodnocovat. V takovém případě je edukační projekt vlastně ustavičným prototypem.
Pretesty a posttesty
Práce s pretesty a posttesty patří mezi základní metody měření efektivity edukačního procesu a lze ji vnímat jako metodu, která je těsně spojená s tématem didaktického testování.425 Je založená na myšlence, že každý účastník obdrží test před vstupem do edukačního procesu a při jeho výstupu. Typicky může jít o testy spojené se sumarizačním hodnocením nebo naopak se vstupním testem. Z rozdílu výsledku lze identifikovat efektivitu vzdělávání a to buď pro každého jednotlivce zvlášť, nebo jako statistický údaj měřící efektivitu jak celého procesu, tak také jeho dílčích částí.
Tuto metodu lze užít především u ucelených kurzů nebo u formálního vzdělávání.426 Například u otevřených webových kurzů je jejich realizace velice obtížná. Pretest a posttest by měly být strukturně podobné, tedy obsahovat analogickou strukturu otázek a to jak co se týče náročnosti, tak také druhem pestrosti či zaměřením se na vybranou látku. Ideální je, pokud lze testy provádět v identickém rozsahu (tedy počtem otázek, času a technickém provedení) s maximální snahou o vyloučení vnějších vlivů.427
Tato metoda se obvykle soustředí na měření znalostí či dovedností, tedy tradičních kognitivních domén a hůře zasahuje do vyšších pater Bloomovy
— 424 — FANG, Wei. Using Google Analytics for improving library website content and design: A case study. 2007. - 425 - HUCK, Schuyler W.; MCLEAN, Robert A. Using a repeated measures ANOVA to analýze the data from a pretest-posttest design: A potentially confusing task. Psychological Bulletin, 1975,82.4:511. —426 — CA-VANAUGH, Catherine S. The effectiveness of interactive distance education technologies in K-12 learning: A meta-analysis. 1999. — 427 — CHRISTENSEN, Larry B., et al. Research methods, design, and analysis. 2011.
taxonomie nebo například do oblasti metakognice. V těchto limitech je třeba vidět také možnosti jejího užití. Lze jimi měřit efektivitu vzdělávání, pokud jde o jednodušší úkoly, co do komplexity a náročnosti na kreativitu. Omezeně jimi lze testovat například oblast klíčových kompetencí.
Tím, že jde typicky o didaktický nástroj, tak je třeba se věnovat pečlivé konstrukci jednotlivých otázek. Ty by neměly obsahovat zápory, měly by být jasné, jednoznačné, stručné. Student nemá přemýšlet nad tím, na co je přesně tázán, ale nad samotnou odpovědí. Je více než vhodné proto oba testy napřed vyzkoušet na pilotním vzorku. V rámci tohoto testování je současně možné se pokusit vyvarovat se chyb, více nežádoucích správných odpovědí atp. Pro konstrukci testů platí podobná pravidla jako pro tvorbu libovolných jiných testových úloh.428
Aby mohlo testování plnit roli pretestu a posttestu, je nutné, aby byl zajištěný dostatečně široký výzkumný vzorek (typicky s návratností nad 60 %), pokud pomocí dat má docházet k evaluaci kurzu jako takového. Pro zpětnou vazbu pro jednotlivce taková omezení pochopitelně neplatí. Je vhodné věnovat pečlivost statistickému zpracování dat, které by mělo pomoci nejen identifikovat místa se špatnou odpovědí (s různými důvody této skutečnosti), ale také různé funkční závislosti. Testy by neměly obsahovat otázky, na které více než 90 % studentů odpoví buď špatně, nebo dobře, v obou případech nejde o vypovídající a funkční data pro měření efektivity vzdělávání.
Tato metoda je kvantitativní, takže nenabízí odpověď na otázku, proč se něco takového děje. V případě, že není důvod neúspěšnosti nebo malé úspěšnosti zřejmý, je třeba ho doplnit kvalitativními metodami jako jsou rozhovory nebo focus groups.
Eye tracking
Eye tracking429 patří dnes mezi populární metody, které umožňují sledovat, kam se uživatel dívá, pokud pracuje s určitou službou, kolik času stráví studiem popisků, ovládání atp. Je vhodné se vyhnout triviálním zjednodušením jako jsou prosté teplotní mapy, ale dobře provedený eye tracking umožňuje velice snadno zjistit, jaká část ovládání je nepochopitelná, náročná či disfunkční.
Tato metoda se hodí pro sledování orientace na stránce, zjišťování, zda jsou důležité věci skutečně na svých místech, zda navigační prvky jsou
— 428 — Srov. KOVÁŘOVÁ, Pavla a Gabriela ŠIMKOVÁ. Evidence-Based Learning Approach in Evaluation of Information Literacy Education. In Kurbanoglu, S.; Spiranec, S.; Grassian, E.; Mizrachi, D.; Catts, R. Information Literacy: Lifelong Learning and Digital Citizenship in the 21st Century. Switzerland: Springer, 2014. s. 560-569, 10 s. — 429 — Srov. např. BOJKO, Aga. Eye tracking the user experience: A practical guide to research. Rosenfeld Media, 2013.
pochopitelné atp. Častým příkladem je také práce s novinkami či zprávami, které si má uživatel hned přečíst - eye tracking může posloužit pro sledování, kam se uživatel dívá jako první, ale také pro měření doby fixace na tyto informace, pokud jsou podávány různou formou. Hodí se tedy například pro identifikaci míst, která nejsou z hlediska logiky či designu ovládání vhodně navržena, ale také na sledování obtížnosti úloh či textu, kde k těmto problémům dochází (typicky jde o vracení se pohledem na totéž místo opakovaně).430
Eye tracking je dnes velice populární metodou, která se hojně využívá v řadě oblastí - od HCI a návrhu GUI až po kartografii nebo marketing. Můžeme ji provádět buď profesionálně typicky pomocí dvouoké kamery s infračerveným čidlem, kdy dochází skutečně k přesnému měření, ale nabízí se také řada pěkných orientačních metod, které jsou pro praktické testování systému také použitelné a využívají obyčejnou webovou kameru, takže náklady na testování nejsou z hlediska softwarového ani hardwarového vybavení vysoké. Celkově může tato metoda nabídnout velice podrobná a unikátní data, která mohou sloužit pro lepší design jednotlivých digitálních objektů i celé informační architektury.
Metoda může být vhodně doplněná systémem na detekci základních emocí, což nabízí ještě komplexnější pohled na chování studenta a umožňuje lépe pochopit jeho postup, důvody vracení se atp.4311 samotný eye tracking je poměrně náročný, takže jakkoli může produkovat kvantitativní data, jejich interpretace není snadná a vzorek většinou není velký. Z tohoto důvodu doporučujeme jeho kombinaci s dalšími metodami jako jsou rozhovory nebo různé emoční testy, které pomohou s lepším pochopením.
System Usability Scale
System Usability Scale představuje jednoduchou kvantitativní metodu testování, která je dobře standardizovaná a jednoduchá na provedení. Dobře se hodí k testování funkčnosti webové stránky, kurzu nebo i složitějšího informačního systému nebo aplikace.432
Uživatel dostane k dispozici webovou stránku a test, který obsahuje deset otázek. Na každou z nich odpovídá na stupnici 1-5, od nejméně souhlasím
- 430 - DUCHOWSKI, Andrew T. Eye tracking methodology. Theory and practice, 2007,328. nebo BEDNAŘÍK, Roman; TUKIAINEN, Markku. An eye-tracking methodology for characterizing program comprehension processes. In: Proceedings of the 2006 symposium on Eye tracking research & applications. ACM, 2006. p. 125-132. — 431 — COWIE, Roddy, et al. Emotion recognition in human-computer interaction. IEEE Signal processing magazine, 2001,18.1: 32-80. - 432 - BANGOR, Aaron; KORTUM, Philip T.; MILLER, James T. An empirical evaluation of the system usability scale. Intl. Journal of Human-Computer Interaction, 2008, 24.6: 574-594.
až po nejvíce souhlasím. Platí, že polovina otázek je položená kladně a polovina záporně. Zadané číslo odpovídá počtu bodů. Pro vyhodnocení se využívá skóre, které se vypočítá následujícím způsobem:
• U kladných otázek (lichých) od bodové hodnoty jejich odpovědi odečtěte jedničku, u záporných (sudých) odečtěte hodnotu odpovědi od pětky.
• Výsledná čísla sečtěte a vynásobte hodnotou 2,5.
Pro validní výsledky se doporučuje pracovat se vzorkem asi 30 osob. Hodnoty nad 80 bodů jsou vnímané jako velice dobře, méně než 50 pak jako velice špatné, označující nepoužitelný systém. Výhoda testuje právě vjeho standardizo-vanosti, kde umožňuje relativně jednoduše posuzovat použitelnost zvoleného řešení. Testuje rozhraní, nikoli edukační efekt, ale pro design vzdělávacího prostředí jde o užitečný nástroj, navíc velice nenáročný. Nevýhodou může být to, že nenabízí žádnou informaci o možném zlepšení. Tuje třeba získat nějakou kvalitativní metodou. Test obsahuje tyto otázky:433
1. Myslím, že bych chtěl použít tento systém často.
2. Zjistil jsem, že systém je zbytečně složitý.
3. Myslím si, že systém byl snadno použitelný.
4. Myslím, že budu potřebovat podporu technicky zdatné osoby, aby uměl tento systém použít.
5. Zjistil jsem, že různé funkce byly do systému dobře integrovány.
6. Myslel jsem, že systém obsahoval mnoho nekonzistencí.
7. Dovedl bych si představit, že většina lidí by se systém naučila rychle používat.
8. Systém mi přišel velice těžkopádný.
9. Cítil jsem se velmi jistý používáním systému.
10. Potřeboval jsem se naučit spoustu věcí, než jsem mohl jistě pracovat s tímto systémem.
Otázky je vhodné si upravit tak, aby odpovídaly tomu, co přesně chceme testovat, zda aplikaci, systém, web atp. Ideální pro testování se jeví Google formulář, který umí data ukládat přímo do tabulky. Té lze nastavit automatické zpracování dle algoritmu výše a přímo vidět výsledné skóre. Ať již od jednotlivých uživatelů (a lze se pak například doptávat těch nejméně spokojených) nebo výsledné číslo, které může sloužit jako jistá orientační metrika.434
- 433 - System Usability Scale (SUS). Usability.gov [online]. 2017. - 434 - LEWIS, James R.; SAURO, Jeff. The factor structure of the systém usability scale. In: International Conference on human centered design. Springer, Berlin, Heidelberg, 2009. p. 94-103.
Polostrukturované rozhovory
Polostrukturované rozhovory představují jednu ze základních metod kvalitativního výzkumu, který má sloužit k odhalení důvodů, souvislostí či hledání příčin.435 Zatímco kvantitativní metody se soustředí na otázku co, kvalitativní míří k jak a proč. Na rozdíl od nestrukturovaných (nebo hloubkových či fenomenologických) rozhovorů slouží polostrukturované typicky k práci s užším, jasně vymezeným tématem, umožňují snazší zpracování výsledků a jejich kódování a zabírají méně času. Současně ale umožňují se doptávat a také téma posouvat či rozšiřovat v případě, že dojde k zajímavému zjištění nebo k nějakému místu, které je třeba dovysvětlit. V tomto ohledu se jeví jako poměrně jednoduchý a flexibilní nástroj, který má všestranné využití.
Tuto metodu je vhodné kombinovat například s webovou analytikou či s různými dalšími kvantitativními metodami na zjišťování příčin a popis identifikovaných témat či fenoménů. Je ideální, pokud můžeme pomocí znalosti předchozích automaticky získávaných (nebo i běžně agregovaných) dat pokračovat v prohlubování pochopení chování či studiu uživatelů pomocí rozhovorů. Lze je ale také užít v počátečních fázích designového procesu, kde umožní zjistit, co uživatelé chtějí či očekávají, tedy nastavit základní parametry edukační služby.
Výhodou metody je velká flexibilita, umožňuje relativně snadnou volbu výzkumných otázek, z jejichž analýzy se následně tvoří dotazy rozhovorové. V online prostředí mohou být polostrukturované rozhovory prováděné také prostřednictvím sítě (Skype, Hangouts atp.), avšak je třeba myslet na to, že jde o trochu jiný druh rozhovorů než v případě běžného hovoru, a to díky jinému sociálnímu i komunikačnímu kontextu. Polostrukturované rozhovory mohou být realizovány také pomocí chatu či zcela písemně.436
Naopak nevýhodou je jistá časová náročnost a nutnost explicitně pracovat s uživatelem služby. Pokud mají být výsledky relevantní, je třeba také metodologicky ošetřit výběr vzorku. Také zpracování pomocí kódování není zcela triviální a rychlé.437
Pokud pořizujeme takový rozhovor, je třeba zajistit informovaný souhlas a užitečné mohou být i nástroje pro přepis mluveného slova na text, které jsou sice do jisté míry chybové, ale pro rychlejší kódování mohou být vhodné, protože smysl sdělení většinou zachovávají. Tuto kontrolu ale může samozřejmě provést sám výzkumník.
— 435 — DREVER, Eric. Using Semi-Structured Interviews in Small-Scale Research. A Teacher's Guide. 1995.
— 436 — LONGHURST, Robyn.Semi-structured interviews and focus groups. Key methods in geography, 2003, 117-132. - 437 - HARRELL, Margaret C.; BRADLEY, Melissa A. Data collection methods. Semi-structured interviews and focus groups. Rand National Defense Research Inst santa monica ca, 2009.
Práce s mockupy a wiref ramy
Jednoduchou výzkumnou metodou, která se hodí při návrhu systému, je práce s mockupy a wireframy. Mockupy a wireframy jsou prototypy, které mohou být částečně funkční a mohou (ale nemusí) pracovat s grafickou podobou systému. Jde tedy vlastně o návrh, jak bude web, aplikace nebo třeba učební materiál vypadat. Na rozdíl od výsledného produktu není třeba pracovat s databázemi, kódovat atp.438
Cílem těchto navrhuje, aby si uživatelé mohli vyzkoušet, jak se jim s jednotlivými možnostmi realizace konkrétní části systému pracuje, jaké by preferovali řešení či informační architekturu.439 Velkou výhodou je, že je lze vytvořit relativně rychle a dále je spojit s různými dalšími výzkumnými postupy - od A/B testování přes polostrukturované rozhovory až třeba po zjednodušené testování použitelnosti nebo heuristické testování.
Pro lepší pochopení je třeba oba pojmy od sebe částečně oddělit. Wireframe je tzv. drátěný model, tedyjednoduchý návrh toho, jak bude vypadat informační architektura systému, rozložení prvků na stránce atp. Velice často se nedělá klikací, ale jde jen o skicu či graficky zpracovaný obrázek. Dává více nebo méně podrobnou představu o tom, jak se bude systém chovat a jak o něm přemýšlet. Je vhodné ho použít pro úvahy nad architekturou, funkčním omezením, obsahovým vyhraněním atp. Tedy především u koncepčnějších otázek.440
Specifickou variantou wireframu je mockup, tedy prototyp systému, většinou částečně funkční. Jeho cílem je pracovat s testováním konkrétních řešení s cílem zjistit, co bude uživatelům vyhovovat nejvíce. Hodí se tedy do pozdnějších fází vývoje, často na testování možností realizace jednotlivých funkcionalit.441
Obaje možné použít pro analýzu seshora dolů, kde autorem navrhuje designer a uživatel jen testuje, dává připomínky a komentuje, nebo tak také pro opačný směr návrhu, kdy uživatel dostane různé prvky (případně si může nějaké dokreslit sám) a jeho úkolem je rozmístit je na obrazovce tak, aby se mu líbilo takový systém používat. V obou případech je otázkou velikost a výběr vzorku. Lze říci, že výběr by měl být co nejvíce reprezentativní a většinou si vystačíme s přibližně pěti respondenty. Typicky tak jde o rychlou ověřovací metodu, která pomáhá s dobrým designem výsledného produktu a s identifikací správných směrů vývoje.
— 438 — RIVERO, José Matías, et al. From mockups to user interface models: an extensible model driv-en approach. In: International Conference on Web Engineering. Springer, Berlin, Heidelberg, 2010. p. 13-24.
— 439 — UNGAR, Jim; WHITE, Jeff. Agile user centered design: enter the design studio-a case study. In: CHI'08 Extended Abstracts on Human Factors in Computing Systems. ACM, 2008. p. 2167-2178. - 440 - PUERTA, Angel; MICHELETTI, Michael; MAK, Alan. The Ul pilot: a model-based tool to guide early interface design. In: Proceedings of the lOth international conference on Intelligent user interfaces. ACM, 2005. p. 215-222.
— 441 - ZHANG, Jia; CHANG, Carl K.; CHUNG, Jen-Yao. Mockup-driven fast-prototyping methodology for Web requirements engineering. In: Computer Software and Applications Conference, 2003. COMPSAC 2003. Proceedings. 27th Annual International. IEEE, 2003. p. 263-268.
Data z LMS
Jestliže vzdělávání probíhá v LMS (Learning Management System) jako je například Moodle, lze o chování a studijních postupech studentů získat komplexnější a systematičtější obrázek než v případě běžné webové analytiky.442 Kvalita a struktura těchto dat je silně závislá na použitém systému, s tím, že lze říci, že právě zmiňovaný Moodle nabízí jedna z nej komplexnějších dat a naopak Google Classroom neposkytuje téměř žádné informace.
Takto získaná data lze užít ke konceptu, který se označuje jako daty řízené učení - analýza dat slouží jako informační prostředek pro studenta i tutora443 k tomu, aby dynamicky měnili obsah a formy učení, mohli se zaměřit na to, co studentovi nejde nebo naopak mohli podpořit jeho silné stránky. Někdy se také mluví o vzdělávání založeném na důkazech, tedy o strategii, kdy efektivitu a funkčnost jednotlivých postupů můžeme jasně měřit a sledovat, ať již globálně u všech účastníků kurzu nebo u každého jednotlivce zvlášť.
Mezi typická data, která lze touto cestou získat, patří informace o úspěšnosti v textování (včetně jednotlivých otázek), informace o studijním progresu, času stráveném s jednotlivými materiály, frekvenci návštěv atp. Lze také studovat různé korelace, například mezi formou vzdělávacího obsahu a úspěšností v jednotlivých formách testování. Zde se nabízí relativně komplexní možnost analýzy celého studijního chování.444 V současné době se diskutuje o možnostech formátu XAPI, který umožňuje do LMS exportovat data například z počítačových her či jiných aplikací. Díky tomu by mohl učitel i student získat ještě komplexnější pohled na celý edukační proces.445
S tím jsou spojené také jisté limity či problémy - lze se setkat s existencí falešných korelací, jejichž odhalení by bylo možné jen dalšími výzkumnými metodamijako jsou například rozhovory. Lze se dokonce setkat s tím, že se o vzdělání v tomto ohledu mluví jako o dehumanizovaném,446 kdy učitel namísto komplexního pohledu na studenta pracuje pouze s exaktními fakty, které ale nemají holistický autentický hlubinný charakter. Současně mohou omezovat vnímání možné analýzy dílčích částí edukačního procesu pouze na ty části a parametry, které jsou snadno a exaktně měřitelné.
— 442 — DYCKHOFF, Anna Lea, et al. Design and implementation of a learning analytics toolkit for teach-ers. Journal of Educational Technology & Society, 2012,15.3: 58. - 443 - MACFADYEN, Leah P.; DAWSON, Shane. Mining LMS data to develop an "early warning systém" for educators: A proof of concept. Com-puters & education, 2010,54.2: 588-599. - 444 - IGLESIAS-PRADAS, Santiago; RUIZ-DE-AZCÁRATE, Car-men; AGUDO-PEREGRINA, Angel F. Assessing the suitability of student interactions from Moodle data logs as predictors of cross-curricular competencies. Computers in Human Behavior, 2015, 47: 81-89.
— 445 — LIM, Kin Chew. Using xAPI and learning analytics in education. In: eLearning Fórum Asia, Shanghai, China. 2016. — 446 — BRDIČKA, Bořivoj. Skutečné možnosti využití daty řízeného školství. Metodický portál: Články [online]. 2011 a BRDIČKA, Bořivoj. Daty řízené školství, politika a technologie. Metodický portál: Články [online]. 2010.
Problematický může být také zásah do soukromí studenta, který je díky LMS a tutorovi pod neustálým systematickým dohledem.447
Velkou výhodou na druhé straně může být všestrannost využití dat - od testování kvality jednotlivých materiálů či celého kurzu až po podporu učení jednotlivých studentů. Datajsou sbírána automaticky, což znamená, že není třeba s jejich získáváním zatěžovat uživatele. Jednotlivá LMS je navíc poměrně jasně strukturují a nabízejí možnosti jejich základní analýzy a vizualiza-ce. Lze je dobře použít například pro A/B testování nebo jako podklad pro kvalitativní metody výzkumu. Současně jde o velice dobrou cestu pro studium nastavení obtížnosti ukončení, charakteristickyjednotlivých otázek atp.
Evaluační dotazníky
Jednou z nejjednodušších a přitom velice důležitých výzkumných metod v online prostředí je práce s evaluačními dotazníky.448 Ty mohou být distribuovány typicky po skončení kurzu (ideálně po udělení zápočtu či certifikátu, což sice může snižovat návratnost dotazníku, ale zvyšuje jeho spolehlivost) neboje lze zařadit také jako průběžné například po třetině nebo polovině kurzu. V takovém případě s nimi lze pracovat v rámci paradigmatu akčního výzkumu, kdy na základě provedených zjištění je možné kurz ještě upravovat, doplňovat a měnit tak, aby odpovídal potřebám konkrétních studentů.449
Smyslem evaluačních dotazníků jako kvantitativní metodyj e získání komplexního přehledu o tom, jak studenti vnímali edukační proces v jeho různých dimensích, jak hodnotí jednotlivé materiály, komunikaci, organisaci kurzu atp. Dávají tedy komplexní a globální pohled na edukaci jako celek, respektive na její části, které výzkumník pro sebe vyhodnotí jako zajímavé.450
Především v případě online kurzů by mělo platit, že jde o výzkumy spíše krátké, rychle a snadno vyplnitelné. Lze v nich pracovat s pětistupňovou Likertovou škálou, která se hodí na měření a analýzu postojů, dichotomické nebo polytomické otázky atp. Lze pracovat také s otevřenými otázkami, které se hodí především jako doplněk nebo na vysvětlení odpovědi. Je ale vhodné být obezřetní vtom, nevyužívat jich příliš mnoho, neboť s jejich množstvím
- 447 - Srov. CAMPANO, Gerald; GHISO, Maria Paula; SANCHEZ, Lenny. " Nobody Knows the... Amount of a Person": Elementary Students Critiquing Dehumanization through Organic Critical Literacies. Research in the Teaching of English, 2013,98-125. - 448 - MOTIWALLA, Luvai F. Mobile learning: A framework and evaluation. Computers & education, 2007, 49.3: 581-596. - 449 - GOVINDASAMY, Thavamalar. Successful implementation of e-learning: Pedagogical considerations. The internet and higher education, 2001, 4.3: 287-299. nebo specificky TZENG, Gwo-Hshiung; CHIANG, Cheng-Hsin; LI, Chung-Wei. Evaluating intertwined effects in e-learning programs: A novel hybrid MCDM model based on factor analysis and DEMATEL. Expert systems with Applications, 2007,32.4:1028-1044. - 450 - Srov. ZAHARIAS, Panagiotis; POYLYMENAKOU, Angeliki. Developing a usability evaluation method for e-learning applications: Beyond functional usability. Intl. Journal of Human-Computer Interaction, 2009,25.1: 75-98.
narůstá časová i kognitivní náročnost takového dotazníku. Demografické otázky se většinou umísťují na konec. Zajímavé mohou být také varianty dotazníků z podmíněnými skoky, které umožní lepší a hlubší pochopení odpovědí a lepší strukturu jednotlivých výzkumných otázek.
Pro zpracování je možné využít poměrně bohatou sadu nástrojů jako je Typeform, Google Forms, SurveyMonkey, Survio atp. Další zpracování je pak typicky záležitostí běžných tabulkových procesorů s využitím kontin-genčních tabulek, případně lze užít robustní nástroje jako je například Atlas.
Pomocí evaluačních dotazníků lze zkoumat především postoje, emoce, nálady během studia nebo dojmy z kurzu, což jsou informace, které například webovou analytikou nebo daty z LMS nezískáme. Současně ale nabízejí jen omezené možnosti poznání skutečných příčin spokojenosti či problémů. Evaluační dotazníkyje nutné vždy nechat projít testovacím provozem na vhodně zvolených „pokusných" respondentech, aby se zjistilo, zda jsou otázky pochopitelné a jednoznačné, kolik dotazník zabere času atp.
Heuristická analýza
Heuristická analýza je spojená s Jakobem Nielsem, který souvisí jak s její konstrukcí, tak také obecně s testováním použitelnost systémů.451 Základní myšlenka je taková, že uživatelé (jde typicky o experty, ale může teoreticky jít i o běžné uživatele) hodnotí základní parametry systému a to na škále od jedné do čtyř. Mimo samotnou škálu uvádějí také popis případné zjištěné chyby. Metoda tedy kombinuje kvalitativní a kvantitativní rozměr hodnocení, umožňuje identifikovat slabá místa a současně mít přehled o tom, proč a co je v nich špatného.
Druhou velkou výhodou metody je, že umožňuje pracovat s malým vzorkem testerů. Již jeden odhalí asi třetinu chyb, pro zajištění dostatečné kvality se doporučuje 4-5 osob, což není obvykle příliš náročné ani na zpracování dat ani na jejich získání. Současně nedochází ke zbytečné interakci s běžnými studenty.
Obecně se udává těchto deset oblastí, které by měly být zkoumané u každého systému:452
• Viditelnost stavu systému, informace o tom, co se děje
• Shoda mezi systémem a jeho informacemi či jazykem a vnějším světem
— 451 — NIELSEN, Jakob; MOLÍCH, Rolf. Heuristic evaluation of user interfaces. In: Proceedings of the SIGCHI conference on Human factors in computing systems. ACM, 1990. p. 249-256. NIELSEN, Jakob. Heuristic evaluation. Usability inspection methods, 1994, 17.1: 25-62. NIELSEN, Jakob. Finding usability problems through heuristic evaluation. In: Proceedings of the SIGCHI conference on Human factors in computing systems. ACM, 1992. p. 373-380. - 452 - NIELSEN, Jakob. Ten usability heuristics. 2005.
• Funkční uživatelské ovládání, možnost vrátit se zpět
• Konzistence ovládacích prvků, vzorců chování a nastavení
• Prevence chyb - systém by neměl uživateli umožňovat chybovat či „něco pokazit"
• Minimalizace potřeby využívat paměť při práci se systémem
• Podpora zkratek a "urychlovačů" pro pokročilé uživatele
• Estetická kvalita systému a minimalistický design
• Funkční práce s chybovými hlášeními
• Práce s nápovědou a dokumentací
Tyto oblasti j sou pak typicky buď fragmentované do podotázek, nebo - v případě profesionálních testerů - mohou být ponechány takto široké a jejich hodnocení je pak doprovázeno hlubší slovní zpětnou vazbou.
Mimo tyto obecné charakteristiky systému jsou pak většinou testování podrobované také typické funkcionality, které jsou pro daný systém zásadní. Deset pravidel má zajistit obecné funkční ovládání nástroje, ale netestuje, zda to, co má systém dělat, se v něm skutečně dá snadno a efektivně realizovat.
Druhou možností je obecné otestování systému a práce se specifickými funkcemi či úkoly může být realizována formou testování scénářů. V tom případě dostává uživatel zadání (např. „napište textovou poznámku se slovem „Modrý") a výzkumník sleduje, jak dlouho danému uživateli proces splnění úkolu zabere času, kolik na to musel vynaložit kliknutí a zda postupoval očekávanou cestou či způsobem (nebo zda někde bloudil). Testování pomocí scénářů pak většinou nebývá aplikované na pokročilé uživatele nebo testery, ale na očekávané zákazníky či uživatele.
Kirkpatrickův čtyřúrovňový model hodnocení
Jestliže chceme provádět evaluaci či výzkum nějaké edukační aktivity nebo systému, můžeme volit dvě autonomní možnosti výzkumu. První spočívá v obecné práci se systémem jako takovým a jeho evaluaci z hlediska designu či funkcí bez vztahu k vlastnímu vzdělávacímu cíli či obsahu. Tato část je významná v tom, že umožní rychle zajistit technické fungování nástroje.
Druhou neméně významnou možností je měření či studium efektivity vzdělávání. K této činnosti je již třeba didaktická a pedagogická analýza.
Jedním z nástrojů, který umožňuje o efektivitě edukačního procesu strukturovaně přemýšlet a sledovat hoje Kirkpatrickův čtyřúrovňový model hodnocení.453 Nejde o konkrétní metodu, ale o jistý přístup k tomu, jak jednotlivé metody vzájemně používat a pracovat s nimi.
Obecně se uvádí, že vzdělávání zasahuje čtyři základní roviny, které tento model sleduje. Pro každou z nich je přitom typické užití jiného výzkumného designu:454
• Reakce
• Učení
• Chování
• Výsledky
Při užití Kirkpatrickova modeluje třeba na začátku stanovit vzdělávací cíle, kterých má být během vzdělávání dosaženo. Ty jsou pak dále diferencované do postojů, znalostí a dovedností, respektive jejich změn. Podle nich by měla (respektive s ohledem na ně) probíhat celá edukace.
Reakce jsou nejnižším a bezprostředním projevem spokojenosti s eduka-cí. Je vhodné je měřit ihned po skončení aktivity. Jejich cílem je tedy zmapování pocitů vzdělávaných. Nejčastěji se zde užívají dotazníky s Likertovou škálou (například formou smajlíků), slovní hodnocení, ale lze se setkat také s kreativnějšími formami (jako je například kreslení obrázků).
Druhá oblast sleduje změnu znalostí před a po edukační aktivitě. Tradičně se měří pretesty a posttesty, ale lze užít také například rozhovory či sebe-hodnotící nástroje. Toto oblast lze, stejně jako předchozí, měřit průběžně a na základě dostupných dat poté upravovat vzdělávací proces. Obecně platí těsný vztah mezi pozitivními emocemi, motivací a množstvím naučeného obsahu. Úkoly se mohou vztahovat také k situacím z reálného života či praxe studenta, na kterých by se měla ukázat komplexnější změna včetně aplikačních schopností. Finální evaluaci této oblasti lze provádět také v delším časovém odstupu.
Změna chování je již komplexním problémem. V této vrstvě by mělo být zkoumáno to, do jaké míry byl schopen účastník vzdělávací aktivity, poznatky, postoje či kompetence přenést do své praxe a dalších oblasti života. Tento parametr se velice špatně hodnotí, lze užít 360° zpětné vazby při hodnocení okolím nebo například rozhovorů (aťjiž hloubkových nebo polostrukturovaných)
— 453 — BATES, Reid. A critical analysis of evaluation practice: the Kirkpatrick model and the principle of be-neficence. Evaluation and program planning, 2004,27.3: 341-347. - 454 - PRASLOVA, Ludmila. Adaptation of Kirkpatrick's four level model of training criteria to assessment of learning outcomes and program evaluation in higher education. Educational Assessment, Evaluation and Accountability, 2010,22.3: 215-225.
v delším časovém odstupu. Další možnou metodou mohou být metody etnografické, analýza deníků či jiných záznamů chování. Často je toto měření spojené s jistým sebehodnocením.
Kirkpatrickův model je původně určený pro vzdělávání ve firmách, takže jeho nejvyšší patro tvoří analýza toho, jak se edukace promítla do snížení nákladů nebo zlepšení kvality uvnitř organisace. Ty mohou být buď stanoveny v oblasti tvrdých (například ekonomických) parametrů nebo mohou být spojené s měkkými či fuzzy, které se měří obtížněji (od růstu kreativity po pocit štěstí). V případě běžné nefiremní edukace sem mohou spadat otázky na vztah k plnění osobních vzdělávacích plánů, plánů osobního rozvoje, PLE atp.455
— 455 — ŠEDIVÁ, Zuzana. Měření efektivnosti nasazení e-learningové aplikace. Systémová integrace, 2010, 57-65. nebo PEJŠA, Jan. e-learning-trendy, měření efektivity, ROI, případové studie. Internet a konkurenceschopnost podniku, 2003.