Měření efektivity
vzdělávání
F2F lekce, online kurzy, zpětná vazba
Gabriela Šimková
Výzkumy v informační vědě
9. 11. 2012
Výsledky
Chování
Učení
Reakce
Kirkpatrickův čtyřúrovňový model
OProkázat účinek, hodnotu
a přínos vzdělávání pro
byznys
Do jaké míry jsou dosaženy plánované
výsledky rozvojového projektu a
následných podpůrných aktivit?
Do jaké míry účastníci využívají získané
znalosti a dovednosti v každodenní práci
nebo v běžném životě?
Do jaké míry účastníci získali očekávané
znalosti, dovednosti a postoje, díky své
účasti na vzdělávací akci?
Do jaké míry byli účastníci spokojeni se
vzdělávací aktivitou?
O „Lektor musí začít tím, že stanoví výsledky,
kterých chce dosáhnout a teprve potom
chování, které umožní tyto výsledky splnit.
Potom musí stanovit postoje, znalosti a
dovednosti, které vedou k tomuto chování.
Závěrečnou výzvou pro lektora je představit
vzdělávací program takovým způsobem,
který účastníkům nejen umožní naučit se to,
co potřebují, ale také na celý program
reagovat pozitivně.“
Návratnost očekávání (ROE)
O Zaměření vzdělávání a následných aktivit na
uspokojení očekávání stanovených na
základě vzdělávacích cílů lekce
O Otázky: Jak podle nás bude vypadat
úspěch? Co se stane, pokud bude program
úspěšný?
Měření I. úrovně
Úroveň
hodnocení
Charakteristika Příklady nástrojů a metod Doporučení
I. Reakce
Mapování osobní
reakce (pocitů) na
školení
 Dotazník, který
obdrží účastníci na
závěr školení.
 Slovní vyjádření
účastníků na konci
kurzu.
 Využití diskuzních
fór pro vyjádření
okamžitých názorů
Mělo by být
provedeno
ihned po
skončení
aktivity
O Měříme jej pomocí dotazníků ihned po
skončení školení:
O spokojenost účastníků s obsahem kurzu,
jeho organizací a průběhem - cvičení,
audiovizuální pomůcky (jejich vhodnost,
efektivnost), studijní materiály
(užitečnost, množství, atd.)
O spokojenost s výkonem a kvalitou lektora
O spokojenost s prostředím, ve kterém se
kurz koná - lokace, komfort, pohodlí atd.
O sběr návrhů a připomínek pro vylepšení
kurzu a jeho prezentace
Měření II. úrovně
Úroveň
hodnocení
Charakteristika Příklady nástrojů a metod Doporučení
II. Učení
Měření znalostí před
a po aktivitě
 Testy a hodnocení
před a po vzdělávací
aktivitě
 Rozhovor, pozorování
Metody jsou
jednoduché,
ale náročné
na investice
a přípravu.
O Měření by mělo proběhnout již na začátku a
dále pravidelně v průběhu kurzu  více
informací o efektivnosti konkrétních témat a
aktivit.
O Otázka: Do jaké míry získali účastníci
očekávané znalosti, dovednosti a přístupy
díky své účasti na vzdělávacím projektu?
O Silný vzájemný vztah mezi 1. a 2. úrovní –
pokud se účastník vzdělávacího programu
pozitivně zapojí do programu, více se naučí.
Metody měření II. úrovně
O Různé druhy testů (např. pre-testy a post-testy).
O Testy ověřující dlouhodobou paměť,
administrované s odstupem např. 3 měsíců po
aktivitě
O Hodnocení účastníků lektorem (riziko
subjektivnosti)
O Sebehodnocení (schopnost reálně posoudit své
vlastní silné a slabé stránky)
O Zadávání úkolů z reálných situací, které se
vztahují k probíranému tématu
Měření III. úrovně
Úroveň
hodnocení
Charakteristika Příklady nástrojů a metod Doporučení
III. Chování
Zjišťování toho, do
jaké míry účastník
kurzu aplikoval
znalosti a jak změnil
své chování.
 Pozorování a
rozhovory v delším
časovém období.
 3600 zpětná vazba
Chování se
velmi
špatně
kvantifikuje
a
interpretuje.
O „Studenti nemohou změnit své chování,
dokud k tomu nemají možnost. Také je
nemožné předpovědět, kdy ke změně
chování dojde.“
O Otázka: Jaké nastaly u studentů změny
chování díky absolvování vzdělávacího
programu?
Metody měření III. úrovně
O interview
O zjištění názorů lidí, kteří spolupracují s osobou,
která prošla kurzem (viz 360° zpětná vazba)
O využití kontrolní skupiny - tu lze porovnat se
skupinou, která prošla tréninkem
O porovnání skupiny před a po tréninku
O zopakování průzkumu po delším čase tak, aby
měl student kurzu vzdělávacího programu dost
času na změnu svého chování
O sebehodnocení
O Mystery techniky (shopping, calling)
Měření IV. úrovně
Úroveň
hodnocení
Charakteristika Příklady nástrojů a metod Doporučení
IV.
Výsledky
Zjišťování vlivu změn
chování
 Pravidelná hodnocení
výkonu zaměstnance
Cíle IV. úrovně
O Ukázat hmatatelné výsledky programu
O zlepšení kvality
O snížení nákladů
O návratnost investic do vzdělávání
O Popsat přínosy vzdělávacího procesu,
naplnění stanovených cílů programu
Možné přínosy vzdělávací
aktivity
O tvrdé (mohou být jednoduše kvantifikovány, jsou
přímo spojeny s obchodními cíli a lze je jednoduše
vyjádřit finančně – např. nárůst produkce, úspora
času, úspora nákladů, zlepšení kvality)
O měkké (lze je do určité míry kvantifikovat a převést
na finanční hodnotu – pracovní výkon, inovace a
kreativita, zlepšení pracovního prostředí, kariérní
postup)
O fuzzy (velmi obtížně měřitelné a vyjádřitelné ve
finanční hodnotě – spokojenost a štěstí, iniciativa a
vedení, základní obchodní dovednosti)
Zpětná vazba ve vzdělávání
O „Zpětná vazba je informace o správnosti
výsledku, průběhu, postupu učebního
procesu, nikoli však posuzování kvalit
studenta.“
Význam zpětné vazby
O řízení jakýchkoli procesů bez zpětné vazby je
neproduktivní
O zpětná vazba je pro studenta cenná pro
ujištění o tom, jaké znalosti získal, jaké
dovednosti si osvojil, k jaké změně jeho
znalostí došlo
Zpětná vazba pro studenty by
měla být:
O okamžitá, včasná a důkladná
O průběžná, formativní a souhrnná
O konstruktivní, motivující a věcná
O konkrétní a objektivní
O konzistentní (návaznost hodnocení na
předchozí hodnocení)
Rady a tipy
O Počítejte s evaluací dopředu
O Zkoumejte dopad vzdělávání na všech jeho
úrovních
O Pečlivě porovnávejte výsledky měření
(pretesty - postesty, evaluace srovnatelných
lekcí apod.)
O Myslete na obousměrnou zpětnou vazbu –
od studentů k vám, od vás ke studentům
Použitá literatura
O KIRKPATRICK, Donald. Evaluating Training Programs:
The Four Levels. 3. vyd. ReadHowYouWant.com,
2009. 296 s. ISBN 978-14-429-5584-4.
O KIRKPATRICK, Jim a Wendy Kayser
KIRKPATRICK. Kirkpatrickův čtyřúrovňový model:
Nový pohled po 50 letech 1959 – 2009 [online].
2009 [cit. 2012-11-08]. Dostupné z:
http://www.develor.cz/develorcz_files/File/kirkpatric
kovy4urovne-novypohledpo50letech2.pdf
O ROHLÍKOVÁ, Lucie a Jana VEJVODOVÁ. Vyučovací
metody na vysoké škole: praktický průvodce výukou v
prezenční i distanční formě studia. 1. vyd. Praha:
Grada, 2012, 281 s. ISBN 978-80-247-4152-9.