ZURN6311 DOTAZNÍKOVÝ VÝZKUM: ÚVOD Lenka Dědková O ČEM TO BUDE •O dotazníkovém šetření jako typu výzkumu (survey design, survey methodology) • •Hlavní cíle: •Pochopit logiku designování dotazníkového šetření s důrazem na různá zkreslení •Dokázat lépe zhodnotit a rozumět odborným článkům, které využívají dotazníkový design •Dokázat sestavit dotazník •+ znalosti, které využijete ve svých diplomkách • • • ONLINE VÝUKA •Zoom a interaktivní osnova předmětu •Webkamery J • •Literatura ve studijních materiálech •Velké základní učebnice, které pokrývají celou šíři témat: •Gideon, L. (Ed.). (2012). Handbook of survey methodology for the social sciences. New York: Springer. •Jednodušeji psaná •Groves, R. M., Fowler Jr, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey Methodology (Vol. 561). John Wiley & Sons. •+ literatura vždy na konci prezentace, kterou si můžete dohledat sami • • ZÁPOČET -Plnění průběžných úkolů během semestru (celkem 9 úkolů). Pro úspěšné zakončení je třeba odevzdat všechny průběžné úkoly. Pokud nebude v průběhu semestru stanoveno jinak, úkoly je potřeba odevzdat nejpozději ve 12:00 v den před následující přednáškou. -Úkoly budou hodnoceny P/N – N úkoly bude možné podle komentářů upravit -Vždy dostanete zpětnou vazbu -Některé individuální, některé skupinové -Závěrečná práce: vypracování návrhu dotazníkového šetření v min. rozsahu 8NS. Návrh bude obsahovat odůvodněnou výzkumnou otázku, detailní a odůvodněný plán sběru dat (typ sběru, cílová populace, rámec populace, strategie oslovování respondentů), zhodnocení jeho limitů a zkonstruovaný dotazník. V projektu je nutné se zaměřit na zvážení možných zdrojů zkreslení a chyb dat a snahu je minimalizovat. Součástí bude rovněž úvaha o možnostech generalizování dat nad rámec vzorku. Součástí projektu není reálný sběr dat. Projekt lze zpracovat individuálně nebo ve skupině max. 3 studentů. Projekt je nutné odevzdat do 11. 6. 2021 do odevzdávárny v IS. V případě, že odevzdaný projekt nebude dostatečný, bude možné jej opravit do 30. 6. 2021. -Téma je na vás! Diplomka? Přemýšlejte o něm co nejdříve… • DOTAZNÍKOVÉ ŠETŘENÍ / SURVEY METHODOLOGY •Rozsáhlá oblast •Wiley má celou sérii o Survey methods: https://onlinelibrary.wiley.com/doi/pdf/10.1002/9781118838860.oth3 •Ale i další nakladatelstvíJ •Odborné časopisy: Public Opinion Quarterly, Journal of Survey Statistics and Methodology, Survey Research Methods, Survey Methodology + časté téma v časopisech zaměřených na statistiku •Asociace: AAPOR (The American Association for Public Opinion Research), WAPOR (World Association for Public Opinion Research), ESRA (European Survey Research Association), ESOMAR (European Society for Opinion and Marketing Research),… • •Metodologie využívaná napříč mnoha obory, kde se na něco doptáváme lidí: nejen výzkum, ale i marketingová šetření apod. • •Pozor ale na „how to do“ typy publikací – v metodologii nejsou jednoznačné návody; zvažujeme mnohé aspekty specificky pro náš konkrétní výzkum a VO, přičemž pro jinou VO a jiný sociální kontext může dotazníkové šetření vypadat naprosto jinak • DOTAZNÍKOVÉ ŠETŘENÍ / SURVEY METHODOLOGY •Survey jako design celé studie, typ výzkumu •VS. dotazník jako nástroj pro sběr dat •Předmět je o designu, metodě, jejíž součástí je tvorba dotazníku jako nástroje • Psací podložka s klipsou se souvislou výplní Skupina lidí se souvislou výplní VO a tvorba dotazníku Výběr respondentů a poslání pozvánky Odeslání dotazníku, zpracování dat Tvorba odpovědí DOTAZNÍKOVÉ ŠETŘENÍ / SURVEY METHODOLOGY •Základním cílem je získat data, která slouží k popisu populace •Obvykle s využitím části populace (vzorku) •Přesnost výsledků závisí na řadě aspektů designu: VO a tvorba dotazníku Výběr respondentů a poslání pozvánky Odeslání dotazníku, zpracování dat Tvorba odpovědí DOTAZNÍKOVÉ ŠETŘENÍ / SURVEY METHODOLOGY •Výsledná celková chyba = odchylka od toho, jak to v cílové populaci je a jak to vypadá v našich datech •Úkolem designu je ji minimalizovat •(částečně ji řeší statistika) • VO a tvorba dotazníku Výběr respondentů a poslání pozvánky Odeslání dotazníku, zpracování dat Tvorba odpovědí CO JE SURVEY •Systematická metoda získávání kvantitativních dat •Survey methodology je oblast vědění, která se zabývá tím, co dělá dotazníkové šetření více (nebo méně) validním •Základním cílem je získat data, která popisují (reprezentují) populaci •Většinou na základě vzorku z populace, ze kterého chceme odhadovat parametry populace vyhodnocení je spojenou se statistikou •(Ne vždy – někdy máme data z celé populace) •V dotazníkovém šetření nám NEJDE o data jednotlivce – nehodnotíme po jednotkách analýzy, průměrujeme (vs. dotazník jako nástroj může sloužit i pro individuální účely) • • CO JE SURVEY •Kvantitativní vyhodnocování výsledků •Ale může obsahovat i kvalitativní část – můžeme využít otevřené otázky a odpovědi následně analyzovat obsahovou analýzou, tematickou analýzou • •Používá self-reported měřící nástroje •Ptáme se respondentů, co si myslí, jaké mají postoje/hodnoty/charakteristiky, jak se chovají… •Nejsou to objektivní nástroje à subjektivita, přesto, že se někdy ptáme na fakta • •Mixed methods designs •Snadno se doplňuje s jinými designy či daty – experimenty, objektivní data, kvalitativa • SURVEY VS. ANKETA •„Anketa“ se používá spíš pro komerční účely, typicky nemá systematicky vybraný vzorek, typicky úzké zaměření, kratičká, necílí na generalizace odpovědí (což je často zcela přiznané), často jen pro ilustraci •Není to slovo, které bychom použili pro akademický výzkumJ •Méně „seriózní“ konotace • •„Dotazníkový výzkum“ se používá v akademickém prostředí, případně i jinde pro dotazníkové šetření, které chce mít určitou vypovídající hodnotu • •Reálně ale žádný cut-off point mezi anketou a dotazníkovým šetřením není, jde spíš o úzus DOTAZNÍKY JAKO NÁSTROJ (QUESTIONNAIRE) •Různé účely (kromě generalizace): doplněk u kvalitativy, klinické využití, screeningy, přijímací pohovory… •Ty pak neoznačujeme za dotazníkové šetření, ale jinou metodu doplněnou o dotazník • •Flexibilita •„Additional“ materiály – podnětové materiály, fotky, texty, hry… •Adaptivní testování • • • • TYPY SURVEYS •Podle módu sběru •Self-completion (pošta, internet) X tazatel (ať už FtF nebo telefonicky) •PAPI: Pen-And-Paper-Interviewing: osobní dotazování pomocí papírového dotazníku •CAPI: Computer Assisted Personal Interviewing: osobní dotazování pomocí PC/tabletu (tazatel zapisuje odpovědi do PC) •CASI: Computer Assisted Self Interviewing a CAWI: Computer Assisted Web Interviewing – respondent vyplňuje sám online dotazník •CATI: Computer Assisted Telephone Interviewing: dotazování po telefonu • •Podle samplingu •Pravděpodobnostní ---- convenience TYPY SURVEYS •Podle zadavatele a/nebo zhotovitele •Kdo survey vytváří a kdo ho provádí •Vládní, výzkumné, komerční, soukromé, NGOs, statistické (ČSÚ) •Statistické úřady – pravděpodobnostní sampling je pro ně zcela klíčový • •Podle cílové populace •Obecná populace •Specifická populace: děti, senioři, studenti, novináři, uživatelé IG, lidé s konkrétní diagnózou… •Domácnosti, podniky, hotely.. • • TYPY SURVEYS •Podle tématu •Citlivé x necitlivé téma •Kontroverzní téma •Někdy tzv. „omnibus“ surveys – „všezahrnující“ – směska témat, využívá jednoho samplingu, ale má dílčí na sobě nezávislá témata (dnes už výjimečné) • • TYPY SURVEYS •Podle počtu sběrů •Jeden: cross-sectional •Opakované sběry, ale pokaždé na jiné populaci: repeated cross-sectional •Opakované na stejné: longitudinal • •Podle délky •od minut po desítky minut • • TROCHA HISTORIE •Nejstarší typy surveys – populační šetření, sčítání lidu •Typicky vládní, začátky pro účely daní •V ČR: sčítání lidu každých 10 let (2021!) •Začátek 20. století – social surveys v UK, US, předvolební výzkumy, první marketingové výzkumy, tradice i v psychologickém výzkumu (předsudky, stereotypy, postoje) •Známý případ s predikcí výsledků prezidentských voleb 1936 (Landon vs Roosevelt): •Od 1916 časopis Literary Digest dělal předvolební výzkumy •Až do 1936 správné odhady – ve 1936 editor na základě dat od +2mil lidí predikoval výhru A. Landona (Landon 57%, ve skutečnosti 38%) •Proč se netrefil? • • • Obsah obrázku text, červená Popis byl vytvořen automaticky TROCHA HISTORIE •Známý případ s predikcí výsledků prezidentských voleb 1936 (Landon vs Roosevelt): •Respondenti: lidi, na které našli kontakty skrze telefonní seznamy, seznamy předplatitelů časopisu, seznamy členů soukromých klubů a asociací, registry majitelů automobilů à selection bias •Z oslovených 10mil. lidí jich odpověď (dotazník poštou) zaslalo 2.4mil à nízká response rate •+ mnohem častěji ji zaslali ti, kteří podporovali Landona à non-response bias •George Gallup – menší vzorek, kvótní sampling – přesnější predikce • •à víc výzkumů začalo využívat kvóty a Gallup poll správně predikoval i volby 1940 a 1944 • TROCHA HISTORIE •A pak přišel 1948 – prezidentské volby Dewey vs. Truman •Velké agentury vč. Gallup poll - silné predikce s využitím kvótních vzorků vedla k vydání „Dewey defeats Truman“ v Tribune •Proč to nefungovalo? •Tazatelé, přestože měli kvóty, mohli v rámci kvót volně vybírat, koho osloví – a dařilo se jim stabilně víc dotazovat více vzdělané, bohatší lidi, kteří byli proti Trumanovi • •à Postupná změna samplingu na pravděpodobnostní •(ale vlivný článek kritizující kvóty už 1934 Neyman) • Obsah obrázku text, osoba Popis byl vytvořen automaticky TROCHA SOUČASNOSTI •Ne tak starý případ: prezidentské volby US 2016 •většina predikcí pro Hillary Clinton (odhady 71-99%) •national polls - přesnější odhady - predikce, že Clinton vyhraje o pár procent - což se v podstatě stalo (2% rozdíl v její prospěch), ale volební systém •Trump podceněn ve státech, kde tradičně vyhrávali Demokraté (PA, WI, MI) •Příčiny: •voliči reálně měnili názor poslední týden před volbami v rozhodujících státech •rozdíl mezi pre-election odpověďmi a reálnou volbou: oproti minulým letům, kdy se rozdíly vzájemně cca vynulovaly, ve 2016 byly změny výrazně ve prospěch DT •nevážení dat pro systematickou chybu - vzdělanější lidé se víc účastní výzkumu a volili častěji pro HC à nonresponse bias •"shy Trump" effect - nicméně hypotéza nemá moc podpory •příliš pro-Clinton ankety mohly vést její voliče k nižší účasti ve volbách •Patrně kombinace faktorů, ne tak jasný sampling blaming TROCHA HISTORIE •První surveys nebyly příliš systematické – ani ve výběru vzorku, ani ve formulacích položek •Postupná standardizace položek (v jednom výzkumu), zaučování tazatelů, opouštění sběrů na celé populaci (finanční a časová náročnost), kritika kvótních výběrů a inkorporace teorie pravděpodobnosti do výběru vzorku •Pravděpodobnostní výběr – každý respondent má nenulovou šanci být do vzorku vybrán •Je to best practice – pokud chceme výzkumem zjistit něco s vysokou mírou jistoty, že data nejsou zkreslená, bez pravděpodobnostního vzorku to nejde •Obtížné bez seznamu všech lidí, ze kterého bychom náhodně vybírali •Samplingy skrze geografické jednotky - místo bydliště, „random walk“ – náhodná procházka TROCHA HISTORIE •Způsob oslovování a administrace •Využívání pošty a self-administrace dotazníků (levnější než tazatel) à využívání telefonních surveys (levnější a efektivnější než pošta; 60.léta) à využívání počítačů à internetu •Pro pravděpodobnostní vzorky ale pořád hojně využívaný sampling pomocí random walk + od rozšíření telefonů random digits dialing (RDD, 70. léta), stále se využívají i tazatelé v domácnostech •RDD znamenal další rozmach pravděpodobnostních výběrů vzorku •S vyšším využíváním telefonů ale narostl masivně i telemarketing, někdy se skrývající za „děláme výzkum“ •A to vedlo ke klesající response rate • Obsah obrázku text Popis byl vytvořen automaticky ZMĚNY S INTERNETEM •Sampling prostřednictvím internetu – rychlost, finančně nenáročné, ale velké potíže s undercoverage bias •Mnohem snadnější nástroje pro tvorbu dotazníku, udržování vlastní databáze, hromadné oslovování s personalizací •Kdokoliv si udělá survey během pár minut – a taky ho dělá! •Víc user-friendly nástroje na zpracování dat (statistiku) – široké použití i mezi lidmi, kteří statistice vlastně nerozumí •Velký nárůst popularity nepravděpodobnostních surveys • •Online panely respondentů nejen v rukou profesionálních agentur s pečlivým výběrem respondentů, ale otevřené veřejnosti (Mechanical Turk) – boom začátkem 21. století •Zvyšuje se počet různých surveys, ale nezvyšuje se počet jejich respondentů – mnoho z výzkumů je ve skutečnosti vyplňováno stejnými lidmi, kteří jsou ve více panelech •„profesionální respondenti“ • ZMĚNY S INTERNETEM •Rozvoj chytrých telefonů a jejich využívání pro surveys •Mixed methods – umožňují kombinovat survey se spoustou objektivních dat (např. GPS, fitbit, detekce světla, akcelerometr...) •Zatím nicméně využití convenience vzorků • •Big data! (někdy organická data) •Záznamy chování, především ale v rukou soukromých subjektů •Otázky soukromí •Když máme big data, potřebujeme ještě stále surveys? •Ano! A kombinace BD a surveys může být specificky silná • ZMĚNY S INTERNETEM •S finančně dostupnějšími metodami výraznější podíl komerčních i laických surveys s pochybnými kvalitami i motivy •Přesycenost populace, klesá ochota respondentů zapojovat se i do „oficiálních“ (vládních, vědeckých) výzkumů, nedůvěra v deklarované cíle dotazníkových šetření •à dlouhodobě klesající response rates •„Rychlejší“ život – a výrazně klesající ochota odpovídat na dlouhé dotazníky •Co je dlouhý dotazník? • •COVID! •Co udělal COVID se surveys? • • • • ETIKA •S rozvojem popularity surveys i rozvoj etických principů ve výzkumu – striktnější •Zároveň pro soukromé surveys etika v podstatě neexistuje (i když legální rámec a ESOMAR guidelines) • Obsah obrázku text, interiér Popis byl vytvořen automaticky FUTURE..? •Fotografie od uživatele CDC ze služby Pexels • Obsah obrázku zavřít, zdobené Popis byl vytvořen automaticky FUTURE..? •COVID – i po konci covidu lze očekávat ještě nižší ochotu u „offline“ výzkumů jak na straně respondentů, tak tazatelů •Ještě vyšší finanční náročnost pro realizaci, zároveň ekonomická krize a méně peněz pro akademické výzkumy • •Big data a analýza reálného chování díky množství věcí, které se dějí prostřednictvím ICT a jsou zaznamenávány •By-product (snad) – nižší množství dotazníků a „výzkumů“ ze stran komerčních subjektů, kteří mají/budou mít přístup k big datům à nižší míra „zahlcenosti dotazníky“ u respondentů •Zvyšuje se důraz na soukromí a ochranu dat, zvyšuje se riziko, že „anonymní dotazník“ nemusí být vždy tak anonymní •Vyšší obezřetnost respondentů, ještě vyšší nonresponse rate i item-non response rate, vyšší cenzura odpovědí • •Respondenti se sebou nenechají „orat“ – výrazně menší ochota poskytovat data, pokud nechápou nebo nesouhlasí s účelem sběru (platí pro výzkumy jako celky i pro jednotlivé položky) •Velké surveys s „klasickým“ tvarem datové matice jsou na odchodu – data získávaná v současnosti jsou víc děravá FUTURE •Konec pravděpodobnostních vzorků? •“Well, I guess I don’t have much hope for surveys. You guys are down to a nine percent response rate or something like that? I just don’t see anything that we have in our toolkit to overcome the massive so-cial forces that are producing that behavior. We’re not smart enough to induce better response rates. So I think the future is really messy. ” •„I’ll say what I think is going to happen. I think the continued decline of surveys will be part of our future. There will be good people—who we sometimes think of as “survey engineers”—who will fix things here and there, and that will keep them going for some time. That will go for a while. And then at a certain point, I think the cost of doing those little fixes will be prohibitive. I think we need about ten years of work that will keep probing for every particular survey purpose, new blends of existing surveys and more ubiquitous so-called “big data” stuff. This will be horribly messy; some of the data are terrible. In my terminology, these are not “designed” by us, these are “organic data,” so we don’t control the measurement process at all.“ • – Robert Groves (Habermann, Kennedy, Lahiri, 2017) FUTURE..? •Surveys se budou muset novému životnímu stylu respondentů přizpůsobit •Pravděpodobnostní vzorky budou pořád důležité, ale jejich podoba se změní •Kratší surveys s využitím adaptivního testování •Nutnost validizovat krátké verze dotazníků •Pokud lze některá data zjistit jinak než ptaním se respondentů – využít takové způsoby •Plánovat designy s cílenými chybějícími hodnotami •Vyšší využívání nepravděpodobnostních vzorků – nutnost rozvíjet statistické postupy, které nejsou založeny na předpokladech pravděpodobnostních vzorků •Opustit „one size fits all“ způsob uvažování – skutečně řešit každý survey individuálně (vč. analýzy) • •Blumenthal, M., Clement, S., Clinton, J. D., Durand, C., Franklin, C., Miringoff, L., ... & Witt, G. E. (2017). An evaluation of 2016 election polls in the US. https://www.aapor.org/Education-Resources/Reports/An-Evaluation-of-2016-Election-Polls-in-the-U-S.a spx •Gideon, L. (Ed.). (2012). Handbook of survey methodology for the social sciences. New York: Springer. •Habermann, H., Kennedy, C., & Lahiri, P. (2017). A conversation with Robert Groves. Statistical Science, 32(1), 128-137. •Miller, P. V. (2017). Is there a future for surveys?. Public Opinion Quarterly, 81(S1), 205-212. •Editorial ke special issue na dané téma; celé SI: https://academic.oup.com/poq/issue/81/S1 •Couper, M. P. (2013, December). Is the sky falling? New technology, changing media, and the future of surveys. In Survey Research Methods (Vol. 7, No. 3, pp. 145-156). •Lusinchi, D. (2012). "President" Landon and the 1936 "Literary Digest" Poll: Were Automobile and Telephone Owners to Blame? Social Science History, Vol. 36(1), pp. 23-54. •