Práce s kvalitativními daty v evaluaci programů EVVO Jan Činčera, Katedra environmentálních studií, Masarykova univerzita 2021 Cíle lekce •Po ukončení lekce studenti: •Připraví osnovu rozhovoru / ohniskové skupiny s vybranou cílovou skupinou účastníků programu environmentální výchovy. •Na základě rozhovorů či pozorování identifikují některé silné a slabé stránky hodnoceného programu. Vstupní otázky •Čeho si v programu všimne spíše nezávislý pozorovatel, než lektor? •Co se lze z kvalitativních dat dozvědět lépe, než z kvantitativních? Kvalitativní a kvantitativní data =komparativní pohledy na program Čísla O kolik? Ano / ne? Objektivita Velké vzorky, reprezentativita Dotazníky, testy Přesné formulace, ověřené nástroje Statistická analýza Pravděpodobnost, statistické testy Příběhy Jak? Co? Perspektiva Různé pravdy, vzorce Rozhovory, pozorování, artefakty Flexibilní, responsivní Kategorizace a kódování ROZHOVORY Jak organizovat, co nejčastěji pozorujeme Jak organizovat, rozdíly rozhovory a ohniskové skupiny, jak vést rozhovory Dva hlavní přístupy, příklady Procvičení formulace otázek a analýzy kvalitativních dat POZOROVÁNÍ ANALÝZA ÚKOLY ROZHOVORY Jak organizovat, co nejčastěji pozorujeme Jak organizovat, rozdíly rozhovory a ohniskové skupiny, jak vést rozhovory Dva hlavní přístupy, příklady Procvičení formulace otázek a analýzy kvalitativních dat POZOROVÁNÍ ANALÝZA ÚKOLY 2 STRATEGIE PRO POZOROVÁNÍ PRAVIDLA INTERAKCE ZÁZNAM Organizace pozorování Vysvětlení své role Fotografování, využití dat, činnost Zapojení do aktivit? Notes na poznámky, observační arch UVEDENÍ Vysvětlení své role UVEDENÍ Co nejčastěji pozorujeme? https://lh3.googleusercontent.com/btXB7LEEa3qnRRKuUI31zvcwfVGyoXG0CrOdv2fLW8GSna0g9OtstTPxtSGq2iEbo 7gcMu6U1Xlz8-yZHSAtFKdI11xG5-T2rtOkjmEofDDi4rai_sPls0BNs8qfwAkIVqaoc4uGIj0JXFwMrDKKqpItFXcnF_a89q5Y D8OuFR0LhaLIyjgoKsfKzF2WIZRmYXZ_jegmCajx0IQ8ecTCvxQpuWzu1ZRDFy1lY4Q_mXWjPrIgdyBZKdr8oqYaS5LpjOq_Gjr DAA_YSKxqUi4fpyiQzqP0IRHZd3aZoDJVhQBD97R_E8yIp9uFSVGjvgruodfpLyCKnmhteSN1L7zR3NcAV8X8YEEZBN9DSEoGE1 KhF-WEKObgzauaRLiuEphFwP_dL1iraSXVXszq1OE8yK5A32m7uGYbBUwtbVJDarAIisIH1CQtiWH0KkoyyE6MS4XOPABurMkHk sQxdyoVu2pedoDZpHe8X7fFokhK5x6W8VEXzqpk4xJn6yWn-38Z-1KscUcL14MLWj8j4MIjiVULc1AVVRUcRgoqgtBur8w0WFcl 8e0LsSaLnmqa_tloLbcwAhj-HNGwUJxT3omfgu9AZh6UBXSJJrclnAjr5JZkm5YgNEMYzDy3iuYbrlGFJF8K7N5wpjkmvumHUsR m4ePLeyDOHxGs8MnRjSdoAttmt78m48l5v5prc0cysqOBqY-3oAJdlikXb_ULbN15tTjDFw=w926-h694-no?authuser=0 Lektorka (nalevo za stromem) přednáší o písečné duně, kterou mají účastníci za svými zády. Foto JČ. Jazyk Direktivní x motivující? Jazyk experta x jazyk účastníků? Organizace skupiny Podporuje zapojení všech? Prostor Poměr dominantní aktivity účastníků - lektora Zájem a nadšení Zájem o téma a účastníky, modelový vzor Interakce lektora s účastníky Promotion free icon Knowledge free icon Like free icon Typické rozložení špatně zorganizované skupiny Přítomnost učitele a těsná skupina části žáků vytváří u lektorů pocit, že je žáci poslouchají. Zhruba polovina žáků stojí na hranici doslechu a jejich pozornost opadává. Zbytek žáků stojí za hranicí slyšitelnosti a postupně se odsouvá dál a dál. Zapojení Kolik se aktivně účastní aktivity? Emoce Jaké emocionální reakce projevují? Interakce Jak na sebe žáci reagují? Skupinová dynamika. Učení a objevy Kognitivní disonance, „aha!“, reflexe. Chování účastníků na programu Diskusní aktivita Trvání programu (min) Výklad Pokračuje výklad… Počet žáků Příklad vývoje zapojení účastníků do aktivity Distribuce moci Jak mohou žáci a učitelé ovlivnit program? Facilitace učení Jaký model učení je podporován? Hodnoty a rámce Jaké hodnoty program nejvíce komunikuje? Jaké je jeho hlavní sdělení? Intenzita Jak program pracuje s časem? Je intenzivní / volný? Vlastnosti programu: často pozorované kategorie Helm Free Icon Value Free Icon ROZHOVORY Jak organizovat, co nejčastěji pozorujeme Jak organizovat, rozdíly rozhovory a ohniskové skupiny, jak vést rozhovory Dva hlavní přístupy, příklady Procvičení formulace otázek a analýzy kvalitativních dat POZOROVÁNÍ ANALÝZA ÚKOLY Rozhovory a ohniskové skupiny nabízejí dvě cesty k získání perspektivy Skupina Pravidlo 6-8 Interakce Omezený počet témat Děti Individuální Koho vybrat? Osobní a hluboké Více témat Dospělí Identifikace Záznam Naladění Moderování Etika ORGANIZACE ROZHOVORŮ A OHNISKOVÝCH SKUPIN Ticho, soukromí, bezpečí, kruh Věk, gender, profesní zkušenost Okruhy, podpora, pravidla Funkční technika Souhlas, účel, využití, anonymizace Vstupní otázka, úsměv… Prostředí Restaurant Free Icon Dobré otázky Otevřené Jednohlavé Nemanipulativní Srozumitelné Některé strategie dotazování… Začít jednoduchými, deskriptivními otázkami („co se stalo, když…“) Méně mluvit, více naslouchat. Respekt k názorům respondenta. Lovit ryby, které se vynoří nad hladinou Technika simulace („co by, kdyby…“) u citlivějších témat Technika ilustrace extrémů („někteří mají rádi A, jiní B. … jak jste na tom vy?) u kontroverzních témat. 01 02 03 04 05 ROZHOVORY Jak organizovat, co nejčastěji pozorujeme Jak organizovat, rozdíly rozhovory a ohniskové skupiny, jak vést rozhovory Dva hlavní přístupy, příklady Procvičení formulace otázek a analýzy kvalitativních dat POZOROVÁNÍ ANALÝZA ÚKOLY 2 STRATEGIE ANALÝZY DAT Z ROZHOVORŮ VÝBĚR DATOVÝCH SEGMENTŮ VYTVOŘENÍ KÓDŮ VYTVOŘENÍ KATEGORIÍ OD DAT KE KATEGORIÍM A nejvíc se to asi změní tím, že si tam musí sami doťapat, ošahají si to na vlastní kůži. I ta krajina se jim líbí. Ne každý se v klidu zastaví na výletě s rodiči, bohužel. A jsou nucení se tam koukat a všímat si, zatímco na tom výletě s rodiči buď jedou rychle na kole, nebo se vláčejí načuření za rodiči, nebo čučí do mobilu. (r2, učitelka, 15 let praxe) Program podporuje zkušenostní učení Reflexe metodiky programu Přesvědčení o účinnosti zkušenostního učení Žáci nejsou na zkušenostní učení zvyklí VYTVOŘENÍ KATEGORIÍ VÝBĚR DATOVÝCH SEGMENTŮ VYTVOŘENÍ DÍLČÍCH KATEGORIÍ OD KATEGORIÍ K DATŮM Očekávání od programu Seznámení se studenty Já jsem od toho čekal jednak, že poznám mnohem víc studenty, které mám v té primě. R6, učitel, 11 let praxe A pak jsem čekal, že se poznají i oni mezi sebou, obzvlášť v těch situacích, které jsou třeba náročnější. R6 Formování skupiny „kdybyste byli indiáni, tak byste se té srně omluvili…“ „Získali jste mnohem víc bodů…, dokážeš to udělat tak, abys dostal trojnásobek, …“ Příklad analýzy komunikovaných hodnot Příklad analýzy zkušenostního učení na programu Propojování: dimenze Ano / Ne Příklady („co vidím, slyším“) Důraz na pobyt venku ANO Většina programu Podpora přímé interakce s přírodou ANO / NE Střídavě: příroda jako hřiště (noční hra, stanoviště) x příroda jako partner (pobytová znamení, lov srny) Reflexe prožitku NE Reflexe řídké a v modelu „lektor po aktivitě vysvětlí, o čem to bylo“ „Bylo vidět po cestě, jak se hádají jeden přes druhého. Tak jsem zastavila a řekla jim to. A oni to uznali, že to musí udělat jinak.“ „Zvedněte ruku, kdo se při vstupu do lesa bál? No já, zrovna v noci do lesa taky nemusím, ale my se většinou bojíme věcí, které tam nejsou. Les je v noci stejný, jako ve dne. Tak se tam třeba příště nemusíte bát chodit…“ Transfer NE Chyběl ROZHOVORY Jak organizovat, co nejčastěji pozorujeme Jak organizovat, rozdíly rozhovory a ohniskové skupiny, jak vést rozhovory Dva hlavní přístupy, příklady Procvičení formulace otázek a analýzy kvalitativních dat ANALÝZA ÚKOLY POZOROVÁNÍ Úkol č. 1: Dobré a špatné otázky •Jak se vám líbil seminář? Bylo to dobré? •Co si myslíš o té včerejší hře? •Co byste na programu nejvíce ocenili? •Co jste si z programu odnesla? Proč? Nelíbilo se vám tam něco? Byli lektoři OK? •Komu byste program doporučili? •Kdybych byl moucha a dneska ráno nad vámi kroužil, co bych viděl? •Nemyslíte si, že s uvážením náročnosti, program vlastně fungoval velmi dobře? •Co vám na programu nejvíce vadilo? •Někdo je z téhle hry nadšený, jiní účastníci jí zase nesnáší. Kam patříš ty? ÚKOL: ROZHODNĚTE, KTERÉ OTÁZKY JSOU FORMULOVÁNY DOBŘE A KTERÉ PROBLEMATICKY. MOJE ŘEŠENÍ JE NA DALŠÍM SNÍMKU. Řešení úkolu č. 1: Dobré a špatné otázky Nevhodné otázky jsou škrtnuty. Úkoly č. 2: Řazení otázek •V čem vás program překvapil? •Kdybyste mohla z celého programu vybrat jeden nejzajímavější okamžik, jaký by to byl? •V čem byste navrhla program změnit? •Jak vás program změnil? V čem jste díky němu jiná, než před ním? •S jakým očekáváním jste se do programu přihlásila? •Co na programu nejvíce oceňujete? •Cokoliv, co byste ještě chtěla doplnit…? • ÚKOL: SEŘAĎTE OTÁZKY DO VHODNĚJŠÍHO POŘADÍ. MOJE ŘEŠENÍ S KOMENTÁŘEM JE NA DALŠÍM SNÍMKU. Řešení úkolu č. 2: Řazení otázek 1.Kdybyste mohla z celého programu vybrat jeden nejzajímavější okamžik, jaký by to byl? (deskriptivní, reflexe) 2.S jakým očekáváním jste se do programu přihlásila? (deskriptivní reflexe, kontext) 3.V čem vás program překvapil? (analýza, hodnocení, emoce) 4.Co na programu nejvíce oceňujete? (hodnocení pozitivní) 5.V čem byste navrhla program změnit? (hodnocení – konstruktivní kritika) 6.Jak vás program změnil? V čem jste díky němu jiná, než před ním? (efekt) 7.Cokoliv, co byste ještě chtěla doplnit…? (prostor pro respondenta, uzavření) • Úkol má více možných řešení Úkol č. 3: Analýza kvalitativních dat •Zadání: Pro každý snímek navrhněte vhodnou kategorii, zobecňující reflektovaný jev. Možné řešení najdete vždy na navazujícím snímku. Příklad Dívka 1: „Ale my, když už jme se blížili k tomu stanovišti, kde jsme měli vařit, tak se Sofča strašně naštvala, že jí nikdo neukázal mapu. Protože ona vedla jednu chvíli úplně špatně.“ Dívka 2: „Mně třeba vadilo, že nám to při té stezce odvahy úplně strašně kazili.“ (Pobytový program pro ZŠ, ohnisková skupina) Možné řešení Skupinová dynamika. Výroky naznačují problémy ve fungování skupiny, které mohly ovlivnit vyznění programu. Úkol č. 3.1.: Analýza kvalitativních dat S (4. roč., dívka): Mě nebavilo, protože my jsme měli v půdě, pracovali jsme se žížalou, a museli jsme i měřit, a ona nám pořád vylízala z takového jak kdyby kalíšku, a mně se to vůbec nelíbilo. A pak jsme měli si vzít papírek se špejlí a měli jsme to zabodnout, kde by měli být žížalí bobky. Tazatel: A co se ti na tom nelíbilo, jako dotýkat se té žížaly? S.: No, a úplně všechno. Š., 11: Ze všeho nejhorší? Tak asi ta středeční expedice, to bylo asi ze všeho nejhorší. T: V čem to bylo tak hrozné? Š: No, protože to bylo chození, to je pro mě hrozně špatné. Možné řešení úkolu 3.1. Komfortní zóny Aktivity programu možná překračují komfortní zóny některých účastníků (ošklivost, fyzická odolnost). Bylo by vhodné zjistit, o jak rozšířený jev se jedná. Úkol č. 3.2.: Analýza kvalitativních dat „jak v dnešní době náš názor nezáleží a jsme pouze otroci našich nadřízených (paní učitelka)“, dívka, 14 let A. (dívka, 6. r.): Ony nám vlastně učitelky zadaly, co máme dělat, a my jsme se v té skupině měli rozhodnout, kdo bude co dělat a jak to zorganizovat. Takže my jsme vlastně rozhodovali o tom, jak to zpracujeme, ale učitelky nám daly zadání. Možné řešení úkolu 3.1. Instrumentální přístup Žáci možná v programu neměli dostatečný prostor jej ovlivňovat vlastními rozhodnutími. To mohlo negativně ovlivnit jejich motivaci k zapojení, ale i efekt programu. Úkol č. 3.3.: Analýza kvalitativních dat Když bych měla upřímně říct, tak pro mě asi celý ten projekt byl takový asi dost náročný, že si myslím, že to nebylo úplně, včetně toho setkání učitelů, i když jsme tam byli s těmi holkami, tak to pojetí toho, že tam v podstatě byl neustále nějaký program, který většinu těch holek až na nějaké výjimky vlastně moc nebavil. A bylo toho strašně moc. A já jsem to cítila i na sobě, že tam nebyla ani chvilka času na to, aby si lidi popovídali jen tak normálně, nebo aby ty holky si vyšly někam na procházku, nebo se mohly věnovat samy sobě. Tak v tom mi to přišlo takové vlastně hrozně nešťastné. Takže celkově můj postoj, a v podstatě i těch holek, si myslím, že je k tomu takový dost negativní. (program pro učitele, učitelka) Možné řešení úkolu 3.1. Intenzita programu Program byl zřejmě příliš intenzivní a nedával účastníkům prostor zpracovat získané zkušenosti. Úkol č. 3.4.: Analýza kvalitativních dat Tazatel: „Ještě mě zajímá, jak to berou ostatní vaši kolegové ze třídy, co nejsou v X, že vy jste v X?“ C1 (chlapec, 14 let, dva roky v X, škola V): „Berou to jako úplnou kravinu.“ C2 (chlapec, 14 let, dva roky v X, škola V): „Ani se o to nijak zvlášť moc nezajímají.“ C1 (chlapec, 14 let, dva roky v X, škola V): „Nezajímají, takže padají většinou otázky jako „Proč to děláš? Je to místo školy, není to místo školy? Bere ti to zbytečně čas, pojď radši s námi ven...““ D1 (dívka, 14 let, dva roky v X, škola V): „Nám vyčítali, že tam chodíme místo školy...“ (dobrovolný, komunitně orientovaný projekt pro 2. stupeň ZŠ) Možné řešení úkolu 3.1. Celoškolní přístup Dobrovolný charakter programu je na jedné straně důležitý, na druhé vede k dělení žáků na „zapojené“ a „nezapojené“. Dlouhodobě by bylo vhodné pokusit o realizaci projektu celoškolně. Úkol č. 3.5.: Analýza kvalitativních dat A. (chlapec, 14 let, 1 rok v programu X, ZŠ M3): No, že se vlastně zajímáme víc o přírodu a vlastně chováme se k ní líp a jsme k ní šetrnější. Tazatel: Aha, takhle to cítíš za sebe? A co děláš třeba jinak, než jsi dělal dřív? A.: To asi přesně neřeknu, ale spíš, ... no nedodržoval jsem třeba tolik třídění, třeba jak jsou směsné koše na autobusovém nádraží, tak jsem se o to tolik nestaral, že by se to třeba mělo nějak zlepšit a takhle. (dobrovolný, komunitně orientovaný projekt pro 2. stupeň ZŠ) Možné řešení úkolu 3.1. Efekty programu Výrok poukazuje na možný pozitivní vliv programu na environmentální chování zapojených žáků. V interpretaci je třeba opatrnost – jde o jeden výrok nebo o opakovaný vzorec? Skutečně respondent vyjadřuje změnu chování? Úkol č. 4: Organizace skupiny •V tomto programu lektor vysvětluje péči o hospodářský les žákům 7. ročníku. •Jak jsou studenti ve vztahu k lektorovi rozložení? •Jakou chybu lektor udělal? Lektor Foto JČ. Otázky k zamyšlení •V čem vidíte přednosti kvalitativní evaluace programu? •Na co je při kvalitativní evaluaci třeba dát pozor? •Na jaké otázky kvalitativní data zpravidla nedokážou odpovědět? Doporučená literatura •Morgan, D. L., 1997. Focus groups as qualitative research. Thousand Oaks: Sage. •Patton, M. Q., 2002. Qualitative Research and Evaluation Methods. Thousand Oaks: Sage. •Saldana, J., 2015. The Coding Manual for Qualitative Researchers. Thousand Oaks: Sage. • • •V této prezentaci byly využity ikony z webu Flaticon, https://www.flaticon.com a Freepik https://www.freepik.com/