ZURN6311 DOTAZNÍKOVÝ VÝZKUM: NON RESPONSE Lenka Dědková ÚKOL 3 •Vyhněte se odborným termínům („respondenti“, „mediální praxe“ apod.). •U citlivých témat popište, jakou újmu vyplňování dotazníku může přinést. •Dobrý nápad: poskytnout kontakt na odborníky nebo psychology. •Nakládání s emailovými adresami pro slosování – přesně popsat v inf. souhlasu. Mít je uložené mimo sesbíraná data. •Podepsaný souhlas / „online souhlas“ (např. zakliknutí věty o tom, že respondent si přečetl informace o výzkumu a souhlasí s účastí). •Etická komise – publikace v odborných časopisech apod. • Obrázok, na ktorom je text Automaticky generovaný popis Obsah obrázku text Popis byl vytvořen automaticky Prosba: Vyplňte prosím můj _______________, abych mohla dokončit svůj výzkum zaměřený na sledování pornografických materiálů u seniorů. ÚKOL 3 •Zajímavé studie: •Agrawal, A. W., Granger-Bevan, S., Newmark, G. L., & Nixon, H. (2017). Comparing data quality and cost from three modes of on-board transit surveys. Transport Policy, 54(C), 70-79. https://doi.org/10.1016/j.tranpol.2016.06.010 •Crow, G., Wiles, R., Heath, S., & Charles, V. (2006). Research ethics and data quality: The implications of informed consent. International Journal of Social Research Methodology, 9(2), 83-95. https://doi.org/10.1080/13645570600595231 •Heerwegh, D. (2005). Effects of personal salutations in e-mail invitations to participate in a web survey. The Public Opinion Quarterly, 69(4), 588-598. https://doi.org/10.1080/1364557042000203107 •Kaplowitz, M. D., Lupi, F., Couper, M. P., & Thorp, L. (2012). The effect of invitation design on web survey response rates. Social Science Computer Review, 30(3), 339-349. https://doi.org/10.1177/0894439311419084 •Liu, C., Cox, R. B., Washburn, I. J., Croff, J. M., & Crethar, H. C. (2017). The effects of requiring parental consent for research on adolescents’ risk behaviors: A meta-analysis. Journal of Adolescent Health, 61(1), 45–52. https://doi.org/10.1016/j.jadohealth.2017.01.015 •Petrovčič, A., Petrič, G., & Manfreda, K. L. (2016). The effect of email invitation elements on response rate in a web survey within an online community. Computers in Human Behavior (56), 320-329. https://doi.org/10.1016/j.chb.2015.11.025 •Shao, S., Wu, S., Zou, G., & Chen, L. (2015) Effective user invitation models for online survey using clustering algorithm. 2015 Fifth International Conference on Instrumentation and Measurement, Computer, Communication and Control (IMCCC), 1445-1449. https://doi.org/10.1109/IMCCC.2015.307 •Trespalacios, J. H., & Perkins, R. A. (2016). Effects of personalization and invitation email length on web-based survey response rates. TechTrends, 60, 330-335. https://doi.org/10.1007/S11528-016-0058-Z NON RESPONSE •Response rate a non-response bias •Faktory ovlivňující response rate a techniky na její zlepšení •Teorie vysvětlující rozhodnutí účastnit se výzkumu • Obsah obrázku mapa Popis byl vytvořen automaticky PROCES DOTAZNÍKOVÉHO ŠETŘENÍ VO a tvorba dotazníku Výběr respondentů a poslání pozvánky Odeslání dotazníku, zpracování dat Tvorba odpovědí Unit non-response Item non-response (NON) RESPONSE RATE Gideon (2012) JINÉ „RATES“ •Participation rate (nebo “completion rate”): •Počet lidí s použitelně vyplněným dotazníkem / celkový počet pozvánek •Rozdíl oproti RR je v tom, že tady často neznáme počet „eligible“ respondentů mezi těmi, které oslovujeme – např. online panely •Pokud eligibility známe, může participation rate vyjadřovat podíl vyplněných dotazníků mezi eligible respondenty •Absorption rate: specifické pro online sběry, kde máme údaje o tom, zda pozvánka dorazila (např. upozornění na neexistující email), podíl doručených pozvánek v rámci všech pozvánek •Screening completion rate (nebo „profile rate“): podíl těch, kteří vyplní profiling items (zjišťující, zda je respondent vhodný) v rámci oslovených •Eligibility rate (nebo „incidence rate“): podíl eligible respondentů v rámci těch, kteří vyplnili profiling items •Break-off rate: (nebo „attrition rate“) podíl eligible respondentů, kteří dotazník začnou, ale nedokončí •Většinou jediná spočitatelná rate pro online convenience vzorky • •Pojmy nejsou používané konzistentně napříč výzkumy, vždy by ale mělo být vysvětleno, o jaký podíl se jedná (NON) RESPONSE RATE •Uvažovat o poměru mezi oslovenými a zúčastněnými má smysl i v designech, kde RR reálně nedokážeme spočítat •Vždy je užitečné se ptát: kdo nám asi častěji neodpoví na výzvu k výzkumu? Jak to může zkreslit výsledky? •Podobně jako uvažujeme o coverage error i v případně výzkumů, kde nemáme jasný výběrový rámec a nepoužíváme pravděpodobnostní sampling (NON) RESPONSE RATE •Response rate se někdy (mylně) považuje za míru kvality vzorku, ale: •Vysoká response rate snižuje riziko non-response bias, ale nezaručuje jeho absenci (pokud není 100%) •Zároveň nízká response rate se nemusí vždy rovnat zkreslenému vzorku – ale často to tak je. Náhodný výběr s velmi nízkou RR se v podstatě charakteristikami rovná convenience vzorku •I výzkum se 100% response rate je jen tak dobrý, jak dobrý byl sampling (a další chyby) •Non-response error = část rozdílu mezi pravou hodnotou v populaci a statistikou vzorku, která vzniká v důsledku toho, že část respondentů odmítá účast •Non-response bias = pokud neochota účastnit se výzkumu koreluje s proměnnou, která nás zajímá •Protože nám nejde ani tak o response rate samu o sobě, ale právě o kvalitu dat, je nemožné stanovit nějaký univerzální cut-off point •Tj. do jaké míry RR je výzkum ok do jaké není – jak vysoká RR by vám pocitově přišla dobrá/špatná? •Některé zdroje uvádí jako cca hranici 70% • • TYPY MISSINGS •Missing completely at random (MCAR) •Důvod pro chybějící data nekoreluje s žádnou proměnnou ve výzkumu (X ani Y) •Taková nonresponse nevede ke zkreslení a není problematická •Missing at random (MAR) •Důvod pro chybějící data koreluje s proměnnou X - pravděpodobnost na chybění mají některé skupiny respondentů vyšší a jiné nižší •Ale nekoreluje s Y •Lze korigovat – použití vah, imputace dat, kovariáty v analýze •Not missing at random (NMAR) •Důvod koreluje s Y •Není možné napravit, odhad Y bude zkreslený Proměnné: •Y – závislá proměnná – ta, která nás zajímá •X – jiné proměnné v survey, které měříme Stejné typy missings i na úrovni item nonresponse STUDENTSKÁ ANKETA •Účast na studentské anketě se pohybuje kolem 40%. •Kteří studenti ji spíše vyplní? •Pro které předměty ji spíš vyplní? •Co si tedy z ankety můžeme vzít? •Jak můžeme zjistit, jestli jsou naše domněnky oprávněné? • •Pro každý výzkum (téma, populaci) je potřeba přemýšlet o důsledcích non-response individuálně •Teorie, existující literatura •Protože často nemáme, o co naše dohady opřít, snažíme se nízké RR co nejvíce předejít •Tzn: zaměříme se na důvody proč se lidé neúčastní; důvody, proč se účastní; faktory které jejich rozhodování ovlivňují DŮVODY PRO (NON) RESPONSE •Důvody pro unit nonresponse: •Non-contact (nepodaří se vůbec oslovit) – např. neaktualizovaný kontakt, spam filtr, není doma, dopis nedoručen •Neschopnost výzkumu se zúčastnit (handicapy..) •Odmítnutí účasti – většina nonresponse je kvůli refusal • •V některých designech nelze od sebe odlišit, proto se nejvíc ví o důvodech odmítnutí u výzkumů s tazatelem (in-person, telefon) •Ani zde nemusí být vždy jasný: je neotevírání dveří/nezvednutí telefonu non-contact anebo pasivní refusal? • DŮVODY PRO (NON) RESPONSE •Jak se dozvídáme o těch, kdo odmítli: •Porovnání vzorku se známou hodnotou v populaci (předpokládá náhodný výběr) •Některé informace můžeme mít na základě výběrového rámce – např. víme, kolik lidí jsme oslovili v kterém kraji/ve které škole…, nebo víme, kolik jsme oslovili mužů/žen apod. •Post-refusal surveys, follow-up surveys, refusal conversion studie •Post-refusal – žádost o vyplnění menšího počtu otázek – buď z dotazníku (core items) nebo otázky o důvodech pro odmítnutí •Follow-up – z odmítnutých respondentů se vybere náhodný vzorek a na něj se využijí vyšší incentivy nebo zkušenější tazatelé ve snaze o zvrácení jejich iniciálního odmítnutí – až 70% lze takto přesvědčit (Gideon) •Jede z typů refusal conversion studie – jiné mohou cílit na snahu zvrátit rozhodnutí celého vzorku •Tzn. – nejvíc o důvodech refusal víme z FtF a RDD studií, často na obecné populaci DŮVODY NEÚČASTI •Survey related •Souvisí s konkrétním výzkumem (pozvánka, informovaný souhlas, mód, délka, téma…) •Non-survey related •Uplatnily by se, ať už by byl výzkum jakýkoliv • •Vnější: •Situační – otázka toho, jak moc je žádost o účast v danou chvíli (in)convenient •Bývají často náhodné a nemusejí tak vést ke zkreslením ve vzorku •Přístup na internet, spam filtr.. •Vnitřní – individuální •Dočasné faktory – nálada, stres.. •Trvalejší faktory – osobnostní nastavení, postoje, celkové obavy o soukromí Budeme řešit hlavně ty, které jako výzkumníci/tazatelé můžeme ovlivnit DŮVODY PRO ÚČAST •Singer: •Egoistické – je to důležité pro respondenta •vlastní benefity, peníze, ale i touha zjistit něco nového nebo jsou pro ně surveys zábavné •Altruistické – je to důležité pro někoho jiného •touha pomoci výzkumníkům, společnosti, víra v to, že výzkum je důležitý • •Motivace vnitřní x vnější •Ideově je lepší v respondentech probudit vnitřní motivaci než spoléhat jen na vnější (peníze) • MÓDY •Různé módy sběru mají různé poměry mezi těmi, kdo jsou osloveni nebo pozvánku vidí a těmi, kdo se účastní •Email •Osobní •Poštovní dopis •Telefon •Pozvánka vyvěšená na nástěnce •Kde se bude poměr nejlepší? TRENDY •Response rate klesá •Kde si myslíte, že jsme? • •Osobní (in-person, face to face: FtF) •Poštovní dopis •Telefon •Online survey PEVNÉ LINKY https://www.pewresearch.org/fact-tank/2019/02/27/response-rates-in-telephone-surveys-have-resumed-t heir-decline/ FACE TO FACE, EU •European Social Survey •2002 – 2014, survey každé dva roky, face-to-face •Cíl ESS: 70% response rate (modrá) • (šedá – trend napříč zeměni) •Beullens, K., Loosveldt, G., Vandenplas, C., & Stoop, I. (2018). Response rates in the European Social Survey: increasing, decreasing, or a matter of fieldwork efforts? Survey Methods. • FTF, USA Vybrané nation-wide studie v USA prováděné in-person Williams, D., & Brick, J. M. (2018). Trends in US face-to-face household survey nonresponse and level of effort. Journal of Survey Statistics and Methodology, 6(2), 186-211. Závěr jako předchozí studie: RR klesá navzdory zvyšujícím se efforts (vyšší školení, vyšší incentivy, informace předem..) MAIL SURVEYS S každým rokem RR klesá o necelé 1% Korelace mezi rokem studie a RR = 0,6 Stedman, R. C., Connelly, N. A., Heberlein, T. A., Decker, D. J., & Allred, S. B. (2019). The end of the (research) world as we know it? Understanding and coping with declining response rates to mail surveys. Society & Natural Resources, 32(10), 1139-1154. MAIL SURVEYS Studie s vysokou RR: •Studie na specifických populacích a o tématech, která jsou pro ně víc zajímavá •(versus obecná populace a obecné téma) ROZDÍLY MEZI ONLINE A OSTATNÍMI MÓDY •Web-based sběry •Daikeler et. Al (2020) – meta-analýza: 114 experimentálních studií porovnávajících response rates mezi webem a jinými módy: průměrně 12% rozdíl (CI 9-16%) •Online sběry mají konzistentně nižší response rates •Exp. studie = vše ostatní konstantní nebo použito v analýze jako další faktor (pozvánka, téma výzkumu, délka dotazníku..) • 1997 2016 Klesá napříč demografickými ukazateli Tolonen, H., Helakorpi, S., Talala, K., Helasoja, V., Martelin, T., & Prättälä, R. (2006). 25-year Trends and Socio-demographic Differences in Response Rates: Finnish Adult Health Behaviour Survey. European Journal of Epidemiology, 21(6), 409–415. doi:10.1007/s10654-006-9019-8 FINSKO MÓDY https://surveyanyplace.com/average-survey-response-rate/ Co z toho plyne: •Preferovaný mód je jednoznačně FtF (ale časově a finančně nejnáročnější) •V dnešní době je ale zajímavý i poštovní (scarcity efekt) •Pokud děláme náhodný výběr, a víme, že potřebujeme určité N ke konkrétní analýze, je dobré nadsadit počet oslovených o očekávanou NRR •Online vzorky jsou nejvíc self-selected DÉLKA DOTAZNÍKU •Kratší dotazník má často vyšší response rate •V různých studiích různé délky •Např. „short“ – 1-16 stran, „long“ 2-36 stran •V hodně studiích efekt nesignifikantní •Patrně hrají významnější roli jiné faktory, které RR ovlivňují •Nebo je vztah nelineární a do určitého breaking pointu na délce příliš nezáleží, ale po něm už ano • •V DP: obvykle krátké dotazníky •Do 13 minut je naprosto ok, spousta respondentů snese i delší •Respondent zvládne v průměru 6-7 položek za minutu •Záleží na obtížnost položek a jejich formulacích, na psychomotorickém tempu, klidném/rušivém prostředí atd. • TÉMA VÝZKUMU •Zájem o téma •Konzistentní a silný efekt – čím větší má člověk zájem o téma, tím pravděpodobněji se zúčastní •Tzn. velký potenciál pro zkreslení, pokud je téma v pozvánce •Etika – v nějaké podobě tam být musí, i když do nějaké míry může být „fuzzy“ •VŽDY přemýšlejte o tom, jak se tento efekt projevuje ve vašich datech •Kdo se spíš ne/zúčastní výzkumu o pornografii mezi seniory? •Kdo se spíš ne/zúčastní výzkumu o očkování dětí mezi obecnou populací? • • • TÉMA VÝZKUMU •Zájem o téma •Některá témata můžou vyvolat silný pozitivní zájem i silný a jasný odpor •Některé témata jsou výrazně polarizující •Většina ale spadá někam mezi – „bleh“ témata, lhostejná témata •U takových témat zvyšuje response rate např. nabídka personalizovaných výsledků • •V pozvánce je dobré zájem o téma zvýšit (probudit) •„Mediální gramotnost předškolních dětí je důležitá, protože tak připravujeme budoucí generaci na pohyb v čím dál komplexnější mediální sféře. Je to důležité téma i pokud sami nemáte děti v tomto věku.“ •„Zajímá vás, jak vaše používání technologií ovlivňuje kvalitu vašeho spánku? Vyplňte dotazník a já vám po zpracování dat zašlu výsledky“ • • TÉMA VÝZKUMU •Citlivost tématu •Citlivé téma – takové, které v lidech může budit obavy o dopady v případě, že by se odpověď zveřejnila, nebo budí pocit „do toho jim nic není“ (intrusiveness) •Často se pojí s efektem sociální žádoucnosti •Je individuální, ale některé témata jsou obecně považována za citlivá •Jaká témata vás napadají? Pro jaké skupiny respondentů mohu být citlivá? • •Kdo se spíš ne/zúčastní výzkumu o sexuální orientaci na obecné populaci? •Co když ho budeme dělat v Polsku? •Co když v zemích, které homosexuální styky kriminalizují? (https://www.humandignitytrust.org/lgbt-the-law/map-of-criminalisation/) •Co když takový výzkum bude provádět/financovat nezisková organizace (Hatefree, Amnesty International)? Co když ho bude provádět/financovat vláda? Co když armáda? • TÉMA VÝZKUMU •Citlivá témata •Mohou se lišit kulturně •Např. citlivost příjmu na škále 1-5 – USA 2,7, Hong Kong 4 •Často máme ve výzkumu jen některé položky, které mohou být citlivé •Tady pak záleží na míře citlivosti – zda jsou to položky, o kterých by měli být informování předem nebo je možné je specificky nezmiňovat •O položkách se budeme bavit v dalších hodinách • • CITLIVOST TÉMATU •Citlivá témata poměrně konzistentně vedou k nižším RR Obsah obrázku stůl Popis byl vytvořen automaticky Couper et al. (2010): Manipulace risk/harm v pozvánce: … The information you provide is confidential. Based on experience, we think there is a one in ten chance (vs. 1 in million) that someone will connect your name with your answers. If this were to occur, here are some of the things that might happen as a result: • A spouse or partner finds out that the respondent has been cheating on them; Manipulace high/low risk Manipulace mention of harm CITLIVÉ TÉMA •Citlivé téma – opravdu důležité zajistit anonymitu a důvěru respondenta v to, že jeho data jsou důvěrná i pokud výzkum probíhá s tazatelem •Celkově se u citlivých témat víc osvědčují pocitově víc anonymní módy – především internet •V pozvánce dát na anonymitu větší důraz •Při FtF sběru citlivé otázky dát jako self-completion a zajistit, že do dotazníku nikdo nenahlíží • •Přílišný důraz na důvěryhodnost dat může v necitlivém výzkumu vést spíše k nižší RR (budí podezření), zatímco u citlivých témat RR zvyšuje • • • „NEOVLIVNITELNÉ“ FAKTORY •Nejčastěji se zkoumají základní sociodemografické proměnné – protože o těch typicky máme v cílové populaci nějakou představu a/nebo jsou „dostupné“ při samotném aktu odmítnutí •Aspoň rámcově – věk, pohlaví, barva pleti •Nicméně – tyto proměnné nám moc neříkají o důvodech odmítnutí a tím pádem o očekávatelném zkreslení; často jsou to spíš koreláty reálných důvodů •Senioři a šetření v domácnosti: starší lidé častěji odmítají, ale ne kvůli věku samotnému, ale protože jsou např. víc opatrní v tom, koho pustí domů •Kdo je méně ochotný: •Lidé s nižším vzděláním •Starší lidé •Muži (ale efekty jsou slabé a někdy žádné) •Pozor: jsme ve výzkumech, kde je respondent osloven „přímo“ – u convenience samplů nejde spočítat, ale například ženy jsou v naprosté většině convenience vzorků výrazně nadreprezentovány • „NEOVLIVNITELNÉ“ FAKTORY •Individuální charakteritiky: •Vyšší občanská participace, vyšší pocit "civic duty" - částečně spojeno s tím, že hodně výzkumů, kde se zkoumala, byly výzkumy vládních organizací (národní statistické úřady apod.) •Vyšší „community involvement“ •Vyšší svědomitost, otevřenost vůči novým zkušenostem, přívětivost •Vyšší altruistické tendence • • • SOCIAL ENVIRONMENT •„Survey culture“ - obecný postoj k surveys •V zemích (obtížné zjistit), v různých subpopulacích (studenti vs. manažeři) •Může být ovlivněn např. celospolečenskými problémy nebo mediálními skandály (FB Cambridge Analytica) •Survey scarcity a „oversurveying“ effect – přehlcenost dotazníky •Individuální charakteristika, ale je ovlivněna širším sociokulturním prostředím •Různé subpopulace: •Např. sběry přes školy ve velkých městech vs. v menších okresech •Neziskovky starající se o klienty se special needs (např. autismus) TECHNIKY NA ZVÝŠENÍ RESPONSE RATE •Kontaktování respondenta •Advance notice / prenotification – respondenti dopředu dostanou informaci o tom, že budou pozváni k výzkumu •Dopis, SMS, případně v médiích •Reminders and follow ups – nejen připomenutí, ale obvykle informace navíc, zdůrazňující přínos studie/účasti, případně navýšenou incentivu • •Obě jsou základní a zásadní, především reminders hrají velkou roli •V convenience vzorcích, kde neoslovujeme „přímo“ – limitované využití • •„Soft“ techniky – na základě teorií • •Social exchange teorie: založené na vážení poměru mezi zisky a ztrátami (kognitivní proces) •Ztráty: čas, námaha, obavy o zneužití dat, pravděpodobnost a dopad případného porušení důvěrnosti dat, případného jiného negativa (jde o výzkum nebo o snahu dostat se mi do domu, aby mě dotyčný okradl?) •Zisky: benefity z účasti, incentivy (pěněžní, nepeněžní), dobrý pocit, možnost vyjádřit názor, popovídat si, zábava, zabít čas •Decision-making teorie - dva způsoby rozhodování •Centrální cesta – systematické uvažování: založené na argumentech a zvážení pro a proti •Kognitivně náročnější, trvá delší dobu – naproti tomu rozhodnutí o účasti na výzkumu je často ultrarychlé •Systematické přesvědčování vyžaduje poměrně silné argumenty •Periferní cesta – heuristické uvažování: založené na „zkratkách“ •Rychlejší, méně náročné •Preference stylu rozhodování se může individuálně lišit (např. podle need for congition) •Pro témata s vysokou relevancí nebo citlivostí pro respondenta častěji systematické, pro nízkou relevanci častěji heuristické •Compliance teorie (vyhovění), teorie o helping behavior (v ne-emergency situacích), opinion change TEORIE PŘÍMO O SURVEY DECISIONS •Vycházejí z obecnějších teorií, aplikují a rozvíjejí je pro oblast rozhodování o účasti na survey •Groves – leverage-saliency theory •Leverage: „páka“ na respondenta (co na něj platí, de facto zisk podle social exchange) •Faktory výzkumu (délka, téma, incentivy…) mají pro každého respondenta různou leverage (různou váhu) •Různé leverage mají pro respondenty různou váhu (salience) a mohou být v pozvánce různě zdůrazněné •„Výzkum se zaměřuje na pomoc obětem domácího násilí“ VS „Výzkum se zaměřuje na v této době velmi důležité téma – jak pomoci obětem domácího násilí“ •Teorie pak doporučuje udělat salientními ty aspekty výzkumu, které by měly mít vyšší leverage u konkrétní skupiny respondentů •Např. pro respondenty s vyšším vzděláním víc zdůraznit, že výzkum provádí univerzita •Pro respondenty s nižším SES dát finanční odměnu •V podstatě teorie doporučuje personalizaci a využívá se především v designech, které ji umožnují – je v ní velký důraz na roli tazatele, který má uzpůsobit představení a pozvánku výzkumu tomu, kdo je respondent • • • TAZATEL •Sběry FtF nebo telefonické •Důležité školení a zkušenost •Školení nejen zaměřené na recruitment, ale i na to, jak získat nezkreslená data •Výhody: •Výzkum může být delší – s tazatelem lidé déle udrží pozornost a je to pro ně živější forma vyplňování •Tailoring: přizpůsobení respondentovi – zkušení tazatelé přizpůsobují strategii oslovení konkrétnímu respondentovi •Např. pozvánka a vysvětlení účelu v jednodušší podobě a komplexnější podobě podle SES •Co hraje roli (byť někdy malou): zkušenost (koreluje s věkem), pozitivní postoje vůči přesvědčování, důvěryhodnost, míra ochoty překonávat překážky (tj. nevzdávat se), víra v důležitost přesvědčit odmítavé respondenty, extraverze, asertivita •„Match“ mezi tazatelem a respondentem •Korelace věku (tazatelé jsou o něco úspěšnější ve vlastní věkové skupině) •Korelace vzdělání (nejhorší response rate v případě, že tazatel má vzdělání nízké a respondent vysoké) •Pro respondentky lépe funguje žena tazatelka, pro respondenty efekt genderu slabý TEORIE PŘÍMO O SURVEY DECISIONS •Singer: benefit-costs •Důraz především na vnímané zisky, které by se měly respondentovi specificky zdůrazňovat •Cílem je, aby pro respondenta převážily vnímané zisky nad vnímanými ztrátami •(ale ne za cenu skrývání potenciálních rizik – naopak, rizika pečlivě zvažovat a minimalizovat je – etika!) •Její výzkumy ukazují, že pro rozhodování skutečně větší roli hrají vnímané zisky a vnímaná rizika jen malou •Proto se teorie jmenuje „benefit-cost“ a ne „cost-benefit“:) •Podle Singer se snižují RR, protože tento poměr se časem obrátil •Dřív na žádost o účast lidé přemýšleli v kontextu „ say yes, unless…,“ zatímco dnešní defaultní nastavení lidí bývá „say no, unless…“ • • • • PŘESVĚDČOVÁNÍ POMOCÍ HEURISTIK •Reciprocita – lidé cítí povinnost oplatit pozitivní chování pozitivním chováním •Role incentiv - incentiva nesmí být vnímaná jako úplatek nebo nemístný tlak – pak potřebu reciprocity necítíme •Nejenom incentivy: jakýkoliv zmíněný (realistický) benefit může vyvolat reciprocitu •Lepší, pokud je přímo cílený na člověka •„Díky výzkumu zjistíme, jaký typ výuky lidem více vyhovuje a podle toho výuku upravíme. Naše další školení tak pro vás budou zajímavější a podnětnější“ •Zadavatel, se kterým má respondent pozitivní zkušenost – něco od něj v minulosti získal •Výzkum mezi absolventy univerzity, klienty neziskovek… •Door in the face technique: nejprve větší požadavek, který participant patrně odmítne, následně menší požadavek •Respondent má pocit, že jste pro něj něco udělali (snížili svoji žádost) – a recipročně pro vás častěji žádosti vyhoví •Ve výzkumu se nepoužívá „marketingově“ – neděláme schválně delší a protivnější dotazníky, aby respondenti vyplnili „reálný“ dotazník •Může pomoci v tom, že i krátká verze dotazníku poskytne nějaké informace nebo se např. dozvíme o důvodech pro odmítnutí PŘESVĚDČOVÁNÍ POMOCÍ HEURISTIK •Konzistence – lidé se obvykle snaží chovat (nebo jevit) konzistentně se svými postoji, hodnotami a minulým chováním •Pokud se podaří propojit účast výzkumu s postoji/hodnotami respondenta, jeho ochota je vyšší •Pravděpodobný mechanismus za foot-in-the-door technikou •„Věříme, že zodpovědní občané by měli mít možnost vyjádřit svůj názor na současnou politickou situaci. Prosíme, vyplňte výzkum týkající se…“ •„Pomáháte ostatním studentům? Pomozte mi s diplomkou vyplněním dotazníku“ •„Obracíme se na Vás, protože jste v minulosti vyplnili podobný výzkum.“ •Zároveň ale může nastat oversurveying effect a pocit, že z hlediska vyplňování dotazníků už jste svoji „kvótu dobra“ naplnili •Při re-kontaktu: „Minule jste říkal, že se neúčastníte, protože se vám to časově nehodí..“ • PŘESVĚDČOVÁNÍ POMOCÍ HEURISTIK •Scarcity – lidé vnímají vzácné příležitosti jako více hodnotné •„K účasti zveme jen omezené množství lidí“ •„Nenechte si ujít příležitost, aby se váš názor počítal“ •„Tohle je vaše šance, jak dát najevo, co si myslíte“ •„Tento výzkum je zcela jedinečný, protože využívá novou metodu, která v ČR zatím nebyla dostupná“ •Trochu pootočená scarcity – dát respondentovi najevo, že on je pro vás vzácný •„Hledáme do výzkumu právě a jenom ty, kteří mají alespoň XY followerů. Takových lidí není mnoho a každý z vás nám velmi pomůže“ • •S množstvím surveys bohužel pocit vzácnosti účasti na výzkumu klesá PŘESVĚDČOVÁNÍ POMOCÍ HEURISTIK •Social validation – lidé se často rozhodují o chování na základě toho, co považují za normu chování (jak se chovají ostatní lidé, ke kterým se vztahují) •„Většina studentů už studentskou anketu vyplnila. Vyplňte ji i vy!“ •„80% žen mělo z vyplnění dotazníku dobrý pocit“ •Ale v surveys potenciální velké nevýhody: •Pocit, že když už to vyplnila většina lidí, můj názor už potřeba není – zrušení „scarcity“ principu •Etika – nelhat! Ale přitom nemusí být eticky možné uvést reálné % (důvěrnost dat) •Tato technika může až moc připomínat marketingové techniky •Devět z deseti zubních lékařů.. PŘESVĚDČOVÁNÍ POMOCÍ HEURISTIK •Autorita – lidé častěji vyslyší požadavek od subjektu, jež považují za (legitimní) autoritu •Vyšší response rate mívají univerzitní surveys než komerční • •Závazek •Vyšší účast mají lidé, kteří cítí vůči zadavateli nebo tématu vyšší závazek •Např. výzkum o aktivismu a respondent je sám aktivista • •Pomoc – jsme socializovaní k tomu, že když někdo žádá o pomoc, pomůžeme •„Svojí účastí mi opravdu velmi pomůžete“ •„Prosím vás o pomoc s výzkumem“ • • PŘESVĚDČOVÁNÍ POMOCÍ HEURISTIK •Liking – lidé častěji vyhovují lidem, které mají raději + raději máme lidi, které vnímáme jako podobné •Líbit se může zadavatel (kdo za výzkum platí) nebo tazatel (kdo reálně hledá a oslovuje) •V offline podmínkách: tazatelé podobní věkem, stylem oblékání, stylem mluvy (např. přízvuk), atraktivnější tazatelé mají vyšší šanci, že jimi oslovený respondent vyhoví •V online prostředí (sebe)prezentace zadavatele •„Jsem student jako vy a hledám respondenty pro svoji diplomku“ •„Dlouhodobě se zajímám o anime, a proto provádím výzkum mezi fanoušky.“ EMOCE •Výzkum o helping behavior: 3 emoce spojené s vyšší/nižší ochotou pomoci •Zlost, vztek à nižší ochota (odmítnutí pomoci může být formou pasivní agrese, kterou si vztek vybíjíme) •Veselost, štěstí (happinnes) à vyšší ochota (pozitivní nálada patrně vede k lepšímu hodnocení celé žádosti, benefitů,..) •Smutek à ne tak jasné, někdy k vyšší, jiny k nižší, patrně v závislosti na vnímaném poměru costs/benefits •Pokud je poměr výhodný, může být benefit vnímán jako něco, co pomůže ze smutné nálady a tím zvýšit ochotu • •Pro praxi – spíš pro offline výzkum s tazateli, ale obecně pokud pozvánkou dokážete vzbudit pozitivní emoce, měli byste mí vyšší účast •Nepřehánět to – příliš silné emoce se pak odrážejí i v odpovídání na položky INCENTIVY •Řešili jsme minule z hlediska etiky • •Atraktivní incentivy mohou vést k vyšší účasti u lidí, kteří chtějí incentivu získat, ale nejsou ochotni za ni poskytnout kvalitní odpovědi •Lhaní u eligibility kritérií, snaha vyplnit dotazník vícekrát •Satisficing – odpovídání tak, aby respondent minimalizoval svoji námahu a zároveň se kvalifikoval na odměnu •Např. vybírání střední možnosti u postojových škál bez přemýšlení •Nicméně u rozumných incentiv studie neukazují rozdíl v kvalitě dat mezi no incentive a incentive conditions •Incentivy mohou ovlivňovat složení finální vzorku – vyšší response rate u některých skupin – např. nižší SES •Někdy tak mohou zkreslení ve vzorku přidávat namísto toho, aby ho snižovaly •Incentiva dopředu vytváří jednak tlak na reciprocitu a jednak kognitivní disonanci – rozpor mezi postojem a chováním, který je nepříjemný a člověk ho má tendenci vyřešit úpravou postoje nebo úpravou chování •VS. postpaid incentivy • INCENTIVY •Singer & Ye (2013): přehledovka o incentivách • •Pre-paid (unconditional) incentivy fungují lépe než post-paid a peněžní fungují lépe než nepeněžní •Church, 1993 - meta-analýza poštovních surveys •Pre-paid peněžní incentiva až +19 % bodů RR •Prepaid nepeněžní +8 pp •Post-paid peněžní +5 pp •Post-paid nepeněžní +1 pp •Podobné výsledky i novější meta-analýzy u FtF surveys •Online surveys – nepeněžní incentivy fungují lépe než u poštovních a FtF surveys a lidé jsou zvyklejší na post-paid incentivy •Patrně kvůli online panelům a obtížnosti pre-paid incentiv (ale např. voucher lze poslat předem v emailu, SMS) INCENTIVY •Charita jako incentiva – žádný, někdy i negativní efekt (snižuje response rate) •Platí, pokud je to jediná incentiva •Slabší efekt, pokud si respondent nemůže charitu vybrat •Vysvětlení – cost/benefit – respondenti oddřou práci, tak raději chtějí benefit pro sebe • •Loterie jako incentiva – malý nebo žádný efekt, přesto je hodně používaná • •Peníze – jak velká částka? •Nejčastější jsou malé částky – 1-5 USD/EUR •Do nějaké míry platí, že vyšší částka vede k vyšší účasti, ale nelineární – cca od 5 USD se response rate zvyšuje pomaleji INCENTIVY •Proč nepeněžní incentivy nefungují tak dobře? •Peníze a jejich hodnota je univerzálně srozumitelná •Hodně výzkumů na obecné populaci a meta-analýzy neberou v potaz téma studie a to, do jaké míry např. nepeněžní incentiva „ladí“ s výzkumem nebo populací •Nicméně pokud není populace tak specifická, že by nějaká nepeněžní incentiva byla pro všechny relevantní, efekty nebudou tak silné ÚKOL 4 •Úkol má opět dvě části: •Část 1: •Účast na studentské anketě se pohybuje kolem 40%. •Navrhněte celkovou strategii, která by měla vést k vyšší RR. • •Část 2: •Vraťte se ke své pozvánce z minulého úkolu. Popište, jak (pokud) byste ji revidovali na základě nových znalostí (nejen na základě zpětné vazby na úkol)? Upravte pozvánku, případně vysvětlete, proč nebyla úprava potřeba. LITERATURA •Couper, M. P., Singer, E., Conrad, F. G., & Groves, R. M. (2010). Experimental studies of disclosure risk, disclosure harm, topic sensitivity, and survey participation. Journal of Official Statistics, 26(2), 287. •Daikeler, J., Bošnjak, M., & Lozar Manfreda, K. (2020). Web versus other survey modes: an updated and extended meta-analysis comparing response rates. Journal of Survey Statistics and Methodology, 8(3), 513-539. •Durrant, G. B., Groves, R. M., Staetsky, L., & Steele, F. (2010). Effects of interviewer attitudes and behaviors on refusal in household surveys. Public Opinion Quarterly, 74(1), 1–36. •Edwards et al.2002; Edwards, P., Roberts, I., Clarke, M., DiGuiseppi, C., Pratap, C.,Wentz, R., et al. (2002). Increasing response rates to postal questionnaires: Systematic review.British Medical Journal, 324,1–9. •Fan, W., & Yan, Z. (2010). Factors affecting response rates of the web survey: A systematic review. Computers in human behavior, 26(2), 132-139. •Gideon, L. (Ed.). (2012). Handbook of survey methodology for the social sciences. New York: Springer. •Groves, R. M., Fowler Jr, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey Methodology (Vol. 561). John Wiley & Sons. •Groves, R. M., Cialdini, R. B., & Couper, M. P. (1992). Understanding the decision to participate in a survey. Public opinion quarterly, 56(4), 475-495. •Rolstad, S., Adler, J., & Rydén, A. (2011). Response burden and questionnaire length: is shorter better? A review and meta-analysis. Value in Health, 14(8), 1101-1108. •Singer, E. (2011). Towards a cost-benefit theory of survey participation: Evidence, further test, and implications. Journal ofOfficial Statistics, 27(2), 379–392. •Singer, E., & Ye, C. (2013). The use and effects of incentives in surveys. The ANNALS of the American Academy of Political and Social Science, 645(1), 112-141. •Stedman, R. C., Connelly, N. A., Heberlein, T. A., Decker, D. J., & Allred, S. B. (2019). The end of the (research) world as we know it? Understanding and coping with declining response rates to mail surveys. Society & Natural Resources, 32(10), 1139-1154. • •