Evaluace programu Jan Činčera, Masarykova univerzita Cíle lekce •Po ukončení lekce studenti: •Porovnají výhody a nevýhody jednotlivých přístupů k evaluaci programů a ve své praxi vyberou takový, který nejvíce odpovídá jejich kompetencím a potřebám zadavatele. Vstupní otázky •Co se vám vybaví, když slyšíte pojmy „evaluace“ a „program“? •Jak by podle vašeho názoru měla evaluace programu správně vypadat? • Evaluace je proces kritického zkoumání programu. Program je uspořádaná sekvence aktivit, která naplňuje jeden či více společných cílů. > Paradigma Post-pozitivismus Konstruktivismus Pragmatismus Transformativní Pozitivistický evaluátor je nestranný, objektivní expert. Více než 80% lebek nedosahuje standardu EU… Jak se ti líbí moje sbírka? Zdroj: Václav Fiala, Krása nesmírná, 2010 Šipka doprava: Post-pozitivismus Post-pozitivismus Evaluace & monitoring (E&M) Kirkpatrickův model •Jak se žákům a učitelům program líbil? •Jak se změnila četnost návštěv lesa dětmi? •Berou si děti do přírody správné boty a oblečení? •Vědí děti, jak si vytáhnout klíště? •Jak se změnila návštěvnost CHKO? •Jak hodnotí účastníci vystupování lektora? •Bojí se děti chození do lesa méně? • Donald Kirkpatrick (1924-2014) Úkol: Přiřaďte evaluační otázky k jednotlivým úrovním modelu. Kirkpatrickův model Donald Kirkpatrick (1924-2014) A tady je řešení. Jak se žákům a učitelům program líbil? Jak hodnotí účastníci vystupování lektora? Vědí děti, jak si vytáhnout klíště? Bojí se děti chození do lesa méně? Berou si děti do přírody správné boty a oblečení? Jak se změnila četnost návštěv lesa dětmi? Jak se změnila návštěvnost CHKO? CIPP Model •Do jaké míry použité komunikační prostředky odpovídají doporučením z oblasti sociálního marketingu? •Jaký segment populace si kupuje výrobky Fair Trade? •Jaký byl vliv programu na znalosti účastníků o Fair Trade? •Jak často si brněnské matky na mateřské dovolené kupují Fair Trade? •Jaké jsou nejčastější důvody pro zakupování výrobků Fair Trade? •Zvýšil se zájem brněnských matek na mateřské dovolené o výrobky Fair Trade? Daniel L. Stufflebeam Úkol: Přiřaďte evaluační otázky k jednotlivým kategoriím modelu. CIPP Model •Kontext: Jaký segment populace si kupuje výrobky Fair Trade? •Kontext: Jaké jsou nejčastější důvody pro zakupování výrobků Fair Trade? •Vstupy: Jak často si brněnské matky na mateřské dovolené kupují Fair Trade? •Procesy: Do jaké míry použité komunikační prostředky odpovídají doporučením z oblasti sociálního marketingu? •Výstupy: Jaký byl vliv programu na znalosti účastníků o Fair Trade? •Výstupy: Zvýšil se zájem brněnských matek na mateřské dovolené o výrobky Fair Trade? Daniel L. Stufflebeam A tady je řešení. Design: (kvazi-)/ experiment Příklad: Vedl program (Les ve škole) k posílení přesvědčení žáků, že mohou ovlivnit stav životního prostředí? Experimentální (účastníci) Počet respondentů Průměr SD T P Velikost efektu Před programem 200 1,53 0,57 2,87 0,004* 0,19 Po programu 1,64 0,52 Konstruktivistický evaluátor je otevřený perspektivě respondentů. Co lebky, držej? Respondenti interpretují svoji roli v komunitě jako jakási světélka v temnotách… Šipka doprava: Konstruktivismus Konstruktivismus Kvalitativní analýza: kódování rozhovoru s učitelem, účastníkem kurzu pro koordinátory EVVO Významová jednotka Koncept Kategorie Memo co já beru jako to negativum, je opravdu takové to … mlácení prázdné slámy, co si můžu přečíst, nepotřebuju, aby mi někdo přežvýkal, a navíc… to není exaktní věda, to je více méně věc názoru Teorie je zbytečná Koncept EV Respondent možná nečeká, že vzdělávací kurz změní jeho koncept oboru či zpochybní zavedenou praxi. Vnímá konflikt a aplikuje obranný mechanismus teorie x praxe. Příklad Výstup konstruktivisticky orientované evaluace programu Ekoškola Pragmatický evaluátor je otevřený perspektivě respondentů. Proč se s nima o tom bavíš? Do evaluačního procesu je třeba zapojit všechny zainteresované strany… Šipka doprava: Pragmatismus Pragmatismus Role evaluátora: příklad evaluace programu „Příroda“ • •Analyzuje program (leden Rok 1) •Přednáší o metodologii evaluace (leden) •Facilituje diskusi o programu (únor-červen) •Pozoruje průběh programu a hodnotí lektory (září) •Facilituje práci na novém programu (říjen – duben Rok 2) •Facilituje diskusi o evaluačním plánu (duben - srpen) •Připravuje evaluační plán, řídí sběr dat, vyhodnocuje je a píše evaluační zprávu (srpen - listopad) •Prezentuje a diskutuje výsledky (listopad - prosinec) •Píše článek do recenzovaného časopisu Co dělá evaluátor? Interakce s partnery je klíčovou součástí evaluace orientované na uživatele. Transformativní evaluátor aktivně bojuje za spravedlnost utlačované skupiny. Příště sejmu chlápka! Proporčně marginální zastoupení mužských lebek odráží zjevnou diskriminaci… Šipka doprava: Transformativní Transformativní Náměty na samostatnou práci •Zpracujte rešerši evaluačních výzkumů publikovaných v odborné literatuře v environmentální výchově za posledních deset let. Jaký přístup převažuje? Jaké jsou podle vašeho názoru trendy v této oblasti? •Jaké přístupy k evaluaci nejsou v této přednášce zahrnuty? Charakterizujte libovolný z nich. Otázky k diskusi •Vyberte si a diskutujte libovolný z prezentovaných přístupů k evaluaci. V čem vidíte jeho přednosti a omezení? •Jaké kompetence by měli mít evaluátoři uplatňující principy evaluace orientované na uživatele? Doporučená literatura •Mertens, M. D. (2020). Research and Evaluation and in Education and Psychology: Integrating Diversity with Quantitative, Qualitative, and Mixed Methods. Thousand Oaks: Sage. •Patton, M. Q. (2008). Utilization-Focused Evaluation. Thousand Oaks: Sage. •Wiltz, K. L. (2005). I need a bigger suitcase: The evalator role in nonformal evaluation. In New Directions for Evaluation, 108, 13-28. •