ZURN6311 DOTAZNÍKOVÝ VÝZKUM: PROCES ODPOVÍDÁNÍ NA POLOŽKY Lenka Dědková ÚKOL 6 •Každá skupinka: shrňte nám, jak to šlo •S jakými problémy jste při kognitivní testování nejvíce bojovali? •Jsou všechny položky vhodné pro použití v českém a slovenském prostředí? •Alternativní média – rozdílný význam v zahraničí a u nás. •„Alternativa vůči mainstreamu a dominantním médiím (community media, independent media, etc.)“ vs. „dezinformační weby a fake news“. •Report z kognitivního testování •Kdo byli moji respondenti? (Věk, pohlaví, obor VŠ apod.) – kognitivní testování (i pilotáž) popisujeme vzorek stejně jako u ostrého sběru •Je potřeba uvést relevantní informace, které usnadní interpretaci dat •Jací respondenti nerozuměli konkrétním položkám? Kolik jich bylo? K ODPOVĚĎOVÉ ŠKÁLE •1 naprosto souhlasím 2 spíše souhlasím 3 nevím 4 spíše nesouhlasím 5 naprosto nesouhlasím •Rozhodně nesouhlasím, Nesouhlasím, Ani nesouhlasím ani souhlasím, Souhlasím, Rozhodně souhlasím •1. Vôbec nesúhlasím, 2. Nesúhlasím, 3. Ani nesúhlasím, ani súhlasím, 4. Súhlasím, 5. Úplne súhlasím • •Jaký je rozdíl mezi „souhlasím“ a „spíše souhlasím“? •Větší „mezera“ mezi střední neutrální hodnotou a „souhlasím“ •U mnoha věcí máme ale jen mírnou (ne)souhlasnou tendenci •U 5-bodové škály měřící nepolarizované postoje/názory doporučujeme mít verzi se „spíš“ •U 7-bodové pak mít oboje • STŘEDNÍ HODNOTA •1 naprosto souhlasím 2 spíše souhlasím 3 nevím 4 spíše nesouhlasím 5 naprosto nesouhlasím •Rozhodně nesouhlasím, Nesouhlasím, Ani nesouhlasím ani souhlasím, Souhlasím, Rozhodně souhlasím •1. Vôbec nesúhlasím, 2. Nesúhlasím, 3. Ani nesúhlasím, ani súhlasím, 4. Súhlasím, 5. Úplne súhlasím • •Další možné varianty: „ani tak, ani tak,“ „někde mezi“ •Opatrnější být na „nevím“ – může označit jak neutrální postoj, tak to, že člověk nerozumí otázce • •Má smysl přidávat i další možnost typu „nedokážu posoudit“ (jiné varianty „není relevantní“, „nehodí se,“ „nemám zkušenost“..)? •Někdy ano – v případech, kdy je reálné, že něco objektivního může v posouzení bránit •Tady spíš ne – nechali bychom na střední hodnotě • POKRAČOVÁNÍ Z MINULA… •…ještě k obecné struktuře a podobě dotazníku ELIGIBLE RESPONDENTS •Tj. cílová populace •Obecná VS specifická • •Typická omezení •Věk •Konkrétní zkušenosti nebo zažité události (uživatelé sociálních sítí, čtenáři konkrétního média, majitelé chytrých telefonů, rodiče dětí v nějakém věku..) • •Ideálně pozveme pouze ty, kteří do cílovky patří •Pokud to nejde: •Omezení vzorku vždy uvést v pozvánce (Výzkum je určen pro ty, kteří…) •Vždy i screeningové položky (nezbytné, nezapomínejte na ně ve vašich DP) ELIGIBLE RESPONDENTS •Screeningové proměnné dát někam k začátku dotazníku •Nastavit filtr à skončit dotazník •Pokud nelze – pak je vymazat z databáze před analýzou • •Někteří pro vás nevhodní respondenti mohou přesto chtít dotazník vidět (zvědavost..) •Další důvod, proč mít možnost vyhnout se odpovědi na položku (možnost „nechci odpovědět“ nebo nepovinné odpovědi) • • •Porozumění celkové logiky a instrukcím dotazníku výrazně ovlivňuje odpovědi (jak se odpovídá, jak to celé funguje, které otázky odpovídají první) •Self-completion: větší důraz na dobré instrukce než pokud máme tazatele • Obsah obrázku text Popis byl vytvořen automaticky INSTRUKCE •Filtrovací otázky a follow-up otázky •Je potřeba respondenta opravdu dobře navést •Online jednodušší díky možnosti adaptivního testování (automatické vyfiltrování ne/relevantních otázek) • INSTRUKCE Obsah obrázku text Popis byl vytvořen automaticky Obsah obrázku text, rostlina, strom, snímek obrazovky Popis byl vytvořen automaticky Populace: dospělí lidé s bankovním účtem •U neobvyklých formátů odpovědí nebo u populací, kde lze očekávat malou zkušenost s dotazníky - přidat cvičné otázky. INSTRUKCE Tady je obrázek žebříku. Představ si, že tento žebřík znázorňuje postavení lidí v naší zemi. ZAŠKRTNI PROSÍM POLÍČKO, KDE SI MYSLÍŠ, ŽE JSI TY A TVÁ RODINA. □ 10 □ 9 □ 8 □ 7 □ 6 □ 5 □ 4 □ 3 □ 2 □ 1 □ 0 Na vrcholu žebříku jsou lidé, kteří se mají nejlépe - ti, kteří mají nejvíce peněz, nejlepší vzdělání a nejuznávanější zaměstnání V dolní části jsou lidé, kteří se mají nejhůř - ti, kteří mají nejméně peněz, jsou nejméně vzdělaní a mají nejméně uznávané nebo žádné zaměstnání □ Nevím □ Nechci odpovědět Obsah obrázku text Popis byl vytvořen automaticky •Ve studijních materiálech Groves et al., s. 218 PROCES ODPOVÍDÁNÍ PROCES ODPOVÍDÁNÍ Komponenta Specifické procesy Pochopení •Věnujeme pozornost otázce a instrukcím •Rozumíme významu otázky •Dokážeme určit, na jakou informaci se nás otázka ptá Vybavení si a paměť •Jsme schopní si požadovanou vzpomínku vybavit, odpovědět na otázku •Dokážeme doplnit chybějící detaily Posouzení •Zhodnotíme celistvost a relevanci vzpomínky/informace •Rozhodneme se, jestli se nám chce si na danou věc vzpomínat nebo na otázku odpovídat Zodpovězení •Vybíráme z nabízených odpověďových možností •„Upravujeme“ a dáváme naši odpověď (e.g., social desirability) Components of the Response Process (Tourangeau, Rips, & Rasinski, 2000) V každé „komponentě“/ fázi odpovídání mohou nastat různé problémy, které ovlivní to, jak odpovíme nebo neodpovíme Woman lift her hand with confused face Premium Vector •Kolikrát jste během posledních 6 měsíců vkládali nové fotografie na svůj profil na sociální síti? •Namísto „sociální síti“ si představte 1 síť, kterou používáte (FB, IG, …) •Zkuste si na to odpovědět a všímejte si toho, jak to děláte (co zvažujete, jak se dostanete k odpovědi) •Kolikrát jste během posledních 6 měsíců vkládali nové fotografie na svůj profil na sociální síti? •(1) nikdy, •(2) jednou, •(3) párkrát, •(4) aspoň jednou za měsíc, •(5) aspoň jednou týdně, •(6) denně nebo skoro denně •(7) několikrát denně •Jak často jste během posledních 6 měsíců vkládali nové fotografie na svůj profil na sociální síti? •Nikdy •Málokdy •Občas •Často •Docela často •Opravdu velmi často • • •Jak často jste během posledních 6 měsíců vkládali nové fotografie na svůj profil na sociální síti? •Nikdy nebo téměř nikdy •Příležitostně •Občas •Často •Velmi často • • VYKLIKEJTE SVOJE ODPOVĚDI •https://docs.google.com/forms/d/e/1FAIpQLSesXkJHlgJmImGzrQTADidKAMaxOS1oOk0C9IQJbD5hVnivuQ/viewfor m?usp=sf_link • PROCES ODPOVÍDÁNÍ •Vypadá komplikovaně •Ale: •Někdy některé kroky přeskočíme •(jindy se v krocích vracíme zpět) •Využíváme heuristiky •A ve výsledku to může být rychlý proces: 5s pro attitudes • • •Jiné modely procesu odpovídání: •Dělení na dvě cesty: „high“ a „low,“ „centrální“ a „periferní,“ „systematické“ a „heuristické“ •„Satisficing“ – způsob odpovídání za využití minimálního úsilí •Tourangeau ve svém modelu argumentují, že to nejsou výlučné cesty, ale různě se prolínají a míchají v různých fázích odpovědi na jednotlivé položky i v různých fázích dotazníku •Tj. nebrat je jako „buď – anebo,“ ale spíš jako spektrum, mezi kterým se pohybujeme v závislosti na mnoha dalších faktorech (motivace, únava, srozumitelnost…) PROCES ODPOVÍDÁNÍ •Jiný způsob, jak uvažovat o odpovídání: •Odpovědi založené na „existující odpovědi“ vs nově tvořené v momentě odpovídání •„Existující odpověď“: informaci už máme ve tvaru, který položka vyžaduje •Víme, že jsme studenti FSS •Víme (obvykle) kolik nám je let •Někdy můžeme i vědět, že naše odpověď na otázku „Jak často postujete fotky na FB“ je „velmi často“ •Např. se nás na to nedávno někdo ptal •Hodně často odpověď ale nemáme – a zvažujeme je nově à „tvorba“ odpovědi •I proto, že sami víme, že hodně věcí se v čase mění (nálada, znalosti, frekvence chování) •Týká se i postojů, vlastností.. DVA HLAVNÍ TYPY POLOŽEK •Behavioral / factual items: ptají se na zažité zkušenosti, aktivity, znalosti •Ptají se v podstatě na „objektivní“ fakta •Otázky na události v časovém rámci, trvání, frekvenci, vlastnictví.. •Attitude items: ptají se na názory na věci •Pozor: nejen postojové, i když se termín tak používá •Patří sem i otázky na vlastnosti, schopnosti •Ptají se na hodnocení •Odpovědi se typicky pohybují na plynulém kontinuu mezi dvěma krajními póly • •I když se mohou zdát hodně odlišné, proces odpovídání je na ně podobný •I u hodnotících položek hledáme v paměti vodítka pro odpověď, rozhodujeme se, kam spadá v možnostech odpovědí a zda chceme odpověď nějak cenzurovat KROK „0“ ENCODING •Před survey: proces ukládání a vytváření vzpomínek po zkušenosti •Struktura paměti se pořád debatuje •My sami si rámujeme naše zkušenosti •Když se ptáme v dotazníku, typicky se ptáme na „významový rámec“ a ne na konkrétní zkušenost •„Jak často sledujete publicistické pořady“ •Stejný pořad může někdo chápat jako publicistický a jiný ne • •Je dobré přemýšlet o tom, jak mohou mít různí lidé zarámované stejné zkušenosti •Především v deskriptivních typech výzkumů •A ve výzkumech, které chtějí zjišťovat „fakta“ spíš než subjektivní názory • • KROK 1. POROZUMĚNÍ •Cíl: určit, na jakou informaci se otázka ptá •K tomu využíváme i nabídku odpovědí •Pokud je otázka komplikovaná, často si ji interpretujeme po kouskách • •Jak často jste během posledních 6 měsíců vkládali nové fotografie na svůj profil na sociální síti? •Jak často jste během posledních 6 měsíců vkládali na svůj profil na Facebooku takové nové fotografie, které zobrazovaly vás s alespoň jedním blízkým člověkem a zároveň získaly alespoň 10 „lajků“? •Rozumíme, na co se ptá? • • • • JAK POMOCI POROZUMĚNÍ •Kognitivní testování a pilotáž • •Používejte cílové populaci srozumitelné pojmy •Poskytujte doplňující vysvětlení, pokud jsou potřeba •„Používáním internetu myslíme používání na jakémkoliv zařízení, ať se jedná o stolní počítač, chytrý telefon nebo tablet“ •„Na internetu se můžeme bavit i s lidmi, které neznáme osobně – to znamená, že jsme s nimi poznali právě na internetu a nepotkali jsme se v realitě.“ •Vyhněte se tvrzením s dvojitým záporem a obzvlášť •Nesouhlasím s tím, aby se v pátek nechodilo do práce •Ano - Ne •Jak se zeptat lépe? • • • • JAK POMOCI POROZUMĚNÍ •Vyhněte se dlouhým a komplexním větám •Krátit, zjednodušovat, rozsekat dlouhá souvětí na věty •Vyhněte se vágním otázkám i odpovědím •Kolik přesně je „občas“? (ale často to tak chceme) •Vyhněte se dvouhlavňovým otázkám •Do jaké míry věříte nebo nevěříte tomu, že země je placatá a koriandr by se měl zakázat? •Jak se zeptat lépe? •Ne vždy je to tak očividné: •Dokážu najít a pochopit informace o dopadech očkování proti COVID-19 •Děti by měly trávit víc času venku, aby měly dostatek vitamínu D • • • JAK POMOCI POROZUMĚNÍ •Být opatrný i na „všední“ pojmy •Jak často během obvyklého dne kontrolujete stav své ledničky? •Je obvyklý den všední den nebo víkend? •à Jak často během obvyklého víkendového dne….? •Jak často jste během posledního roku navštívili ZOO? •Co je poslední rok? •Kalendářní rok? Školní rok? 12 měsíců ode dne dotazování? •à Jak často během posledních 12 měsíců, tj. zhruba od května 2020… •Myslíte si, že děti by měly používat…? •à Myslíte si, že dnešní předškolní děti (tj. 5-6 leté)… •à Myslíte si, že vaše děti… • • Respondenti často odpovídají i na otázky, kterým nerozumí nebo nemají potřebnou znalost - Až ¼ respondentů dá nějakou odpověď, pokud nemohou odpovědět „nevím“ Tam, kde je reálné, že nemusejí vědět nebo rozumět mít explicitně „nevím“ jako odpověď NÁVODNÉ OTÁZKY •Otázky, v jejichž formulaci nebo odpovědi jsou vodítka, které nějakým způsobem nasměrovávají odpověď •Souhlasíte s tím, že banány se loupou od špičky? •Ano •Ne •„Souhlasíte“ na začátku vede lidi spíš k souhlasné odpovědi •Jak se zeptat lépe? •Jak se vám líbila kniha XYZ •Vůbec – trochu – dost - opravdu hodně •Jak se zeptat lépe? • •Vyváženost položek (instrukce i odpovědi)! •Jak moc souhlasíte nebo nesouhlasíte… •Používat balancované odpověďové škály, pokud je konstrukt „obousměrný“ • Obsah obrázku stůl Popis byl vytvořen automaticky Gideon, s. 164 NÁVODNÉ OTÁZKY •Pojmy/sousloví s výraznými konotacemi: •Měla by vláda snížit procento odváděných daní z vašich těžce vydělaných peněz? •Měla by vláda utrácet víc peněz za vzdělávání? •Jak se zeptat lépe? •Zakomponované hodnocení •Co si myslíte o prevenci dramatických dopadů klimatické krize? •Měla by se zvýšit •Měla by se snížit •Kyberšikana představuje opravdu závažný problém, který může vést k dětským sebevraždám. Jaký je váš postoj k rušení preventivních programů na školách? •Kotvy nebo jiná vodítka k odpovědi •Osmipatrový panelák měří přibližně 25 metrů. Jak vysoký je dům, kde bydlíte vy? •U otázek, kde jde o fakta, jsou podobná vodítka fajn! •Závislostí na internetu trpí jen velmi malé procento lidí. Myslíte si, že jste závislá/ý na internetu? •U hodnotících otázek mohou být problematická - pokud nám jde o zjištění skutečného subjektivního hodnocení člověka o míře pociťované závislosti, takovou položkou ji nezjistíme • • KROK 2. VYBAVENÍ SI INFORMACE •(typicky) z dlouhodobé paměti • •Využíváme různá vodítka •Kolik fotografií jste sdíleli v prosinci 2020? •Vodítka v paměti: ha, Vánoce! Silvestr! Mikuláš! • •Schopnost vybavit si informaci závisí na mnoha faktorech •Kdy se událost stala •Výraznost události/zkušenosti •Četnost události – časté si pamatujeme vágněji •Bohatost vodítek – kolik fotografií jste sdíleli v únoru 2021? •Čas, který máme a věnujeme vybavování informace •Motivace • • • Velmi často nevylovíme „hotovou odpověď“ – nemáme dopředu spočítaný počet sdílených fotek, na který bychom si jen vzpomněli Vzpomínáme tedy na kousky informací, ze kterých odpověď tvoříme (další krok) PAMĚŤ •Paměť není zdaleka dokonalá: Schacter, 1999: 7 sins of memory •Postupné zapomínání dobře zapamatovaných informací •Nedostatečné zapamatování informací, kterým jsme nevěnovali velkou pozornost •Vzpomínkový blok – v danou chvíli si prostě informaci nevybavíme •Misattribution – správná vzpomínka, ale špatný čas, špatný zdroj •Vč. toho, že za zdroj nápadu považujeme sebe nebo toho, že si „pamatujeme“ na události, které se ale nestaly •Suggestibility – zakomponování toho, co říkají jiní do naší vzpomínky •Od předchozího se odlišuje tím, že tady je vliv někoho třetího •Zkreslení – minulé vzpomínky jsou ovlivněny současnými znalostmi, postoji, náladou •Tendence k vyšší konzistenci se současností •Persistence – pamatování (a někdy patologické vybavování si) si vzpomínky, kterou bychom raději zapomněli (traumatické, nepříjemné, intruzivní vzpomínky) • • • Absence vzpomínky, kterou bychom si chtěli vybavit Změněná vzpomínka Přítomnost vzpomínky, kterou nechceme PAMĚŤ •Nedostatečné zapamatování informací, kterým jsme nevěnovali velkou pozornost •Častý případ informací, na které se ptáme v našich výzkumech •Mediální praxe •Frekvence používání internetu (i konkrétní apky/programy) •Četnost komunikace •Čtení zpráv •… JAK POMOCI VYBAVOVÁNÍ •Nabídnout vodítka •Jak často jste během posledních 6 měsíců, to znamená v období od ledna do konce června, vkládali nové fotografie na svůj profil na sociální síti? •Jak často jste během posledních měsíců sledovali zpravodajství? Mohlo to být v televizi, v rádiu, na internetu nebo novinách. • •Povzbudit k tomu, aby věnovali energii na přemýšlení •Zamyslete se teď prosím nad vaším používáním Instagramu. Jak často…? •Jak často…? Prosím, pokuste se odpovědět co nejpřesněji, tento údaj je pro výzkum obzvláště důležitý. • •Zároveň ale pokud se ptáme na obtížně spočitatelné jevy, můžeme v některých případech spíš připustit, že odhad stačí – Víme, že spočítat všechny fotky může být těžké, zvláště pokud jich sdílíte hodně. Pokud je spočítat nedokážete, zkuste počet alespoň odhadnout. • • JAK POMOCI VYBAVOVÁNÍ •Při komplikované „definici“ se ptát postupně •Jak často jste během posledních 6 měsíců vkládali na svůj profil na Facebooku nové fotografie, které zobrazovaly vás s alespoň jedním blízkým člověkem? (nikdy - - - každý den) •A jak často to byly fotografie, které získaly alespoň 10 „lajků“? •Nebo - kolik z nich získalo alespoň 10 „lajků“? (žádná - - - všechny) • •Při započítání víc elementů se ptát jednotlivě •Namísto „Kolikrát jste byli za poslední měsíc v obchodě“ se zeptat Kolikrát jste byli v obchodě, který se dominantně zaměřuje na prodej: •Potravin (Albert, Tesco,..) •Drogerie (Teta, DM,..) •Elektroniky (Datart,..) •… REFERENCE PERIOD •Čím dál do minulosti, tím obtížnější vybavování si z paměti •Časový rámec volte tak, aby byl co nejužší, ale aby byl schopen postihnout, co vy potřebujete •Některé jevy jsou řídké – pokud byste se ptali jen na poslední měsíc, většina lidí by odpověděla „nikdy“ nebo „jednou“ •Některé jsou naopak výrazně frekventované a stačí úzký interval •à TEORIE a to, co víme z předchozích výzkumů o vaší cílovce •Lidé obecně nejsou moc dobří v tom pamatovat si, kdy přesně se událost stala (pokud nemá fixní místo v kalendáři) •Vánoce vs. preventivní prohlídka u obvodního lékaře •Častěji rámujeme události ne podle data, ale podle osobně významných milníků (poslední měsíc – ajo, to znamená po mé dovolené…) •„Telescoping“ – tendence reportovat do časového rámce i věci, které se staly před ním (forward telescoping) nebo opomenout ty, které se staly v něm (backward telescoping) •Zdá se, že forward je častější à nadhodnocování počtu jevů TYPICKÉ CHOVÁNÍ VS. MINULÉ CHOVÁNÍ •„Typické chování“ – stabilnější vzorce chování (přinejmenším tak, jak si je respondent myslí) •„Minulé chování“ (Jak často jste dělal během posledního týdne…) - aktuální chování •Ale delší časový rámec už obvykle zachycuje „typické“ chování (posledních 6 měsíců,…) • •Co je pro vás lepší záleží na VO, ale: •I když se ptáme na konkrétní časový interval, lidé mají tendenci přemýšlet a odpovídat spíš o „obvyklých“ chováních •à méně přesné odpovědi •Jak často jste během posledních 2 týdnů jedl/a něco sladkého? • •V obou případech je lepší zdůraznit, na co se ptáme, v instrukci: •„Typické chování“ – použít slova jako „obvyklý,“ „typický“ (týden, měsíc), „průměrně,“… •„Minulé chování“ – např. „Možná jste se během minulého týdne choval jinak než je pro vás obvyklé. Nás teď zajímá právě to, jaké to bylo minulý týden.“ • • PŘESNOST •Techniky pro lepší vybavování událostí v rámci časového rámce •Mít dost úzký časový rámec, aby se omezilo nevybavení •Další: s pomocí kalendáře, deníčkové metody, dohledání informací, doptávání tazatele, ohraničení časového rámce významovými milníky spíš než čistým časem •Jak často se ti během prázdnin stalo… •Online self-completion sběry – snažte se motivovat respondenty k poctivému vybavování, vysvětlujte jim, že (a proč) vám jde o co největší přesnost (pokud vám o ni jde) •Zároveň je ale potřeba smířit se s tím, že lidé většinou přesně neodpoví •A v rámci toho interpretovat výsledky •V textu vědeckých prací proto najdete věty „Respondenti uváděli, že průměrně snědli 3 čokolády za měsíc“ a ne „Respondenti průměrně snědli 3 čokolády za měsíc“ •Podobně u self-reported hodnotících škál „Dokážu poznat kvalitní informace“ ≠ respondenti dokážou poznat.. •Pokud vzhledem k VO potřebujete velmi přesný údaj, pak je tomu potřeba přizpůsobit celý design – self-completion bez tazatele může být no-go • Groves, s. 232 & Tourangeau, s. 98 ÚKOL 7 •Začněte víc řešit věci pro váš projekt •Úkol: obecné téma projektu, cílová populace a kdo se na něm bude podílet (jména lidí ve vaší skupince) •Stačí stručně (max 1 NS) •Pokud téma nebo cílovku ještě nevíte, napište, co zvažujete a proč si ještě nejste jistí •(změna tématu je později možná) • • LITERATURA •Gideon, L. (Ed.). (2012). Handbook of survey methodology for the social sciences. New York: Springer. •Groves, R. M., Fowler Jr, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey Methodology (Vol. 561). John Wiley & Sons. •Tourangeau, R., Ripps, L. J., Rasinski, K. (2000). The psychology of survey response. Cambridge University Press. •