Tvorba online dotazníkov POLn6012 Moderní informační technologie v politologii Michal Tóth Jaro 2021 Online survey | História • 1890 – sčítanie obyvateľov v USA • nárast populácie vplyvom masovej migrácie • odhad trvania spracovania dát – 8 rokov (!) • Herman Hollerith – riešenie – záznam dát na papierové kartičky s dierkami • spracovanie dát sa skrátilo na 2 roky • prvé dotazníkové šetrenie realizované s pomocou „počítačovej techniky“ (analýza) • Hollerith neskôr založil firmu Computing-Tabulating-Recording Company (CTR), ktorá sa v 1924 premenovala na International Business Machines (IBM) Online survey | História II. • druhá polovica 90. rokov 20. stor. – rozmach online dotazníkového výskumu tak ako ho poznáme • rozšírenie internetu a World Wide Web – vznikajú internetové stránky, prehliadače, hyperlinky, emailové služby 1999 Survey Monkey 2002 Qualtrics Google Forms Online survey • Výhody • Cena (avšak závisí na parametroch – napr. požiadavka repre-vzorky, zber cez agentúru – kto naprogramuje dotazník?) • Rýchlosť zberu dát (distribúcia dotazníkov a zber odpovedí) • Jednoduchá implementácia (nevyžaduje znalosť programovacích jazykov) • Jednoduchší management (respondenti, pozvánky, dáta... ) • Flexibilita a pokročilé možnosti – zobrazovacia logika, randomizácia, ... • Zisk nadštandardných dát (čas a presná doba vypĺňania, poloha, doba prezerania stimulu, ...) • Interaktivita, multimediálny obsah • Väčšia „sloboda“ pre respondenta (čas, miesto, prechod dotazníkom, prístupová platforma, ...) • Zmierňuje problém so „social desirability“ (rasistické postoje, konzumácia alkoholu, výchova detí, ...) • Väčšia miera (pocitu) anonymity • Možnosť využívania predpripravených šablón • Nevýhody • Vyžaduje určitú mieru „počítačovej gramotnosti“ • Dostupnosť niektorých segmentov populácie (starí ľudia, vylúčené lokality, ...) • Cena (licencia) • Menšia kontrola nad respondentami (predčasné ukončovanie, odpovedá skutočne náš respondent?) • Nemáme kontrolu nad kontextom, v ktorom sa respondent nachádza (otázky na momentálne pocity – zima/stres/smútok, ...) Skôr než začnete tvoriť dotazník... 2 kategórie publika: 1) Tvorca dotazníka („programátor“) 2) Respondent • Kvalitný dizajn/návrh dotazníka by mal rešpektovať potreby oboch kategórií (zrozumiteľné pri tvorbe aj pri odpovedaní) • Dizajn a prevedenie ovplyvňuje spôsob, akým respondent odpovedá na otázky -> DATA (validita a reliabilita) 1. Ak sú otázky mätúce alebo náročné na zodpovedanie: respondenti hľadajú skratky/odpovede hádajú, odpovede nebudú odzrkadľovať realitu 2. Ak sú zvolené nevhodné typy otázok (zle sa zobrazujú): napr. otázky, ktoré sa nezmestia na obrazovku – zvyšuje sa chybovosť odpovedí 3. Ak je dotazník príliš dlhý: respondent dotazník nevyplní, otázky preskakuje prípadne predčasne ukončuje dotazník, nízka reprezentativita dát Skôr než začnete tvoriť dotazník... Konceptualizácia a operacionalizácia teoretického konštruktu, ktorý chceme merať • Definovanie konceptu a jeho dimenzií (napr. „spokojnosť so zamestnaním“ – dimenzie – spokojnosť s platom, spokojnost s nadriadeným, spokojnost s pracovnými podmienkami, …) • Operacionalizácia – stanovenie empirických indikátorov a ich transformovanie do konkrétnej otázky v dotazníku 1. Čo chcete pomocou dotazníka zistiť? 2. Aké konkrétne výstupy potrebujete získať? Aké dáta? 3. Kto je skúmaná populácia? Poradie otázok • nevhodne zvolené → zmätenie respondenta, predčasné ukončenie, ... • zoskupovanie do logických podskupín (Q: „Blocks“) • odporúčanie: • začnite s najjednoduchšími alebo najzaujímavejšími otázkami • nezačínajte s citlivými (príp. súkromnými) otázkami → doprostred dotazníka (vyššia motivácia ho dokončiť), resp. ku koncu • postupujte od všeobecnejších k špecifickejším otázkam • demografické otázky (vek, pohlavie, príjem, ...) na záver (výnimka – nastavenie kvót, filtrácia) • Pozor na to že: • poradie otázok môže ovplyvniť odpovede – context effect (priming, .. ) • vizuálne oddelenie otázok pre zmiernenie context efektu • „habituácia“ – séria podobných otázok → strata pozornosti → rovnaké odpovede • obmena znenia podobných otázok (nielen kozmetická!) Poradie možností odpovede • tendencia vyberať odpovede, ktoré sú „najbližšie“ (nejasné/náročné otázky s množstvom podobných možností výberu) ➢ napr. zisťujeme čo v ľuďoch vyvoláva úzkosť: • strach zo smrti, • choroba, • obavy zo straty zamestnania, • škaredé počasie, • dlhy, • ... ➢ Ďalšie možnosti: multiple-choice odpovede, otvorene odpovede, .. Konštrukcia otázok I. Čo najjednoduchšie • Stručný, jednoduchý jazyk, bez vágnych a abstraktných pojmov • „Kedy ste sa prisťahovali do Brna?“ (nejasný typ odpovede – po strednej škole/keď som mal 20 rokov/v roku 2007... ?) • „Podporujete alebo odmietate systematickú reformu imigračnej politiky, ktorá by umožnila orgánom štátnej správy efektívne administrovať proces udeľovania vízových povolení a posilňovala súčasné legislatívne nastavenia?“ (je po prvom prečítaní zrozumiteľná?) • „Ako veľmi sú pre Vás dôležité rodinné hodnoty?“ • „Sta za alebo proti využívaniu asistovanej reprodukčnej technológie?“ Konštrukcia otázok II. Čo najšpecifickejšie • Všetci respondenti by mali otázku chápať rovnako • „Ste ranné vtáča?“ (vágne) • „Ak sa spätne pozriete na posledných sedem dní, v akom čase zvyknete ráno vstávať?“ Pozor na „dvojhlavňové“ otázky • „double-barreled“ questions – dve otázky v jednej • respondent nemôže/nechce na jednu časť otázky odpovedať • „Sú rodinné stretnutia pre Vás a Vašu rodinu dôležité?“ (dve otázky) • „Považujete trest smrti za historický prežitok a myslíte si, že by sa mal zakázať na celom svete? “ (dve otázky, očakávanie rovnakej odpovede) Konštrukcia otázok III. Nenavádzajte respondetov • Predpojaté, manipulatívne príp. zaujaté formulácie • „Podporujete v týchto ťažkých časoch, kedy COVID-19 pácha viac škôd než Druhá svetová vojna, kroky súčasnej vlády?“ (sugestívne, emotívne) • „Spôsobuje podľa Vášho názoru rastúce zaťaženie pracujúcich matiek stratu rešpektu detí, ktoré si v dnešnej dobe rodičov takmer vôbec nevážia?“ (sugestívne, dva vložené predpoklady) Nenúťte respondentov odpovedať • Neviem/Nechcem odpovedať • Q: Force response/Request response? Konštrukcia otázok IV. Vyhnite sa: o skratkám (menej známym) • „Ste spokojný s RPMN Vášho úveru?“ • „Ste spokojný s ročnou percentuálnou mierou nákladov Vášho úveru?“ o slangovým/hovorovým výrazom • „Koľko hodín denne strávite sledovaním telky?“ o negatívnym formuláciám otázok • „Ako často nenavštevujete bohoslužby?“ o dvojitým záporom •„Súhlasíte s tým, aby nikto nebol odškodnený?“ o nerealistickým časovým odhadom •„Koľko cigariet ste vyfajčili za celý svoj život?“ Konštrukcia otázok V. Vyhnite sa: o otázkam na „bezvýhradnú platnosť“ • tlačia respondentov do neprirodzených odpovedí Snažte sa zistiť čo najviac na čo najmenšom priestore o Ponúknite respondentovi čo najširšiu škálu odpovedí (nie len „Áno/Nie“) Aký typ odpovede očakávame? • Závisí na povahe konceptu, ktorý meriame, výskumnej otázke, hypotézach a type následných analýz • Uzatvorené otázky – respondent si vyberá z vopred určených možností • jednoducho kvantifikovateľné (1 = úplne súhlasím, 2 = súhlasím, 3 =ani súhlas ani nesúhlas, 4 nesúhlasím, ... ) • pripravené na štatistickú analýzu • rýchlejší zber dát • výsledky je možné jednoducho sumarizovať a graficky prezentovať • vyššia reliabilita naprieč respondentami • menší priestor pre sociálnu dezirabilitu • vyššia miera anonymity • Otvorené otázky – respondent odpovedá vlastnými slovami • Respondent nie je pri odpovedi ničím limitovaný • Jednoduchšie na vytvorenie • Nenútia respondenta do výberu potenciálne skreslenej odpovede • Na rozdiel od rôznych typov uzavretých otázok sú pre respondenta jednoduchšie pochopiteľné • Predlžujú dobu vypĺňania • Vyžadujú od respondenta viac úsilia Uzatvorené otázky I. Multiple choice • Respondent si z pripraveného zoznamu vyberá jednu alebo viac odpovedí (single answer/multiple answer) • Single answer (select) • ponúknuté kategórie musia byť jasné a vzájomne výlučné (neprekrývajúce) • Multiple answer (select) Uzatvorené otázky II. Škály • súbor odpovedí reprezentujúcich jednotlivé pozície na kontinuálnej osi • Hodnotiace škály (rating scales) • forma multiple-choice otázky • Respondent vyberá z kontinuálne zoradených kategórii jednu možnosť • „Ako často meškáte do práce?“ 1) Veľmi často (takmer denne) 2) Často (2x do týžna) 3) Občas (raz týždenne) 4) Zriedka (raz za mesiac) 5) Nikdy • Zoradzovacie škály (rank order scales) • Respondent zoraďuje ponúknuté kategórie podľa zvoleného kritéria Uzatvorené otázky III. • Likertova škála (Likert scale) • Vyjadrenie súhlasu/nesúhlasu s tvrdeniami prostredníctvom výberu z rozsahu odpovedí • Typicky od „absolútne nesúhlasím“, cez neutrálny bod po „úplne súhlasím“ • Každá odpoveď na škále predstavuje numerické skóre • Pri zisťovaní postojov a názorov na témy, objekty, ... • Nepoužívať v prípadoch, kedy sa odpovede nedajú umiestniť na jednu logickú škálu • Otázka dĺžky škály – 5/7/9 ? • Sémantický diferenciál (Semantic differential) • Respondent si vyberá vždy jednu hodnotu na stupnici medzi dvomi protikladmi • 3 až 10 stupňov medzi bipolárnymi výrazmi • Oproti Likertovej škále zachytí aj jemnejšie rozdiely v postojoch Dizajn • čitateľný (striedme fonty, farby, pozadie, ..) • pozor na gramatické chyby • univerzálny dizajn (rôzne prístupové platformy) • progess indicator – ano/nie? • back button – ano/nie? • Číslovanie otázok? (problém pri podmienenom zobrazovaní) • Úvodná obrazovka • Väčšina respondentov, ktorí dotazník nedokončia, skončia práve tu! • Čo by na nej malo byť? • Uistenie, že je respondent na správnom mieste • Povzbudenie, aby dotazník vyplnil • Odkiaľ sa dotazník vzal, a o čo v ňom ide • Informácie o anonymite dát • Odhadovaný čas vyplnenia • Bez zbytočností (čo najstručnejšie informácie) Dizajn II. • čo „najčistejší“ (bez zbytočných obrázkov, grafiky, ... – pozor na objemné súbory) • user-friendly • bez nadbytočných a irelevantných otázok (držať sa témy) • „Skrolovací“ vs. „stránkový“ dizajn: • Skrolovací (podobný papierovému dotazníku): • Neukladá odpovede priebežne! • Vhodnejší pri krátkych dotazníkoch • Keď je dôležitý kontext (umiestnenie otázky) • Ak sa nepoužíva zobrazovacia logika (bez filtračných otázok) • Častejšie dochádza k vynechaniu odpovede • Dochádza k vzájomnej korelácii medzi odpoveďami (podobné otázky) • Stránkový dizajn • Jedna resp. viac otázok na stránke • Odpovede sa priebežne ukladajú (dotazník je možné ukončiť v inom čase) • Interaktivnejší a dynamickejší (randomizácia, preskakovanie otázok, filtrácie, ...) • Respondent nepozná dĺžku dotazníka