Dotazníkový výskum BSSn4405 Koncepce a metody výzkumu v bezpečnostních a strategických studiích Michal Tóth Jaro 2023 1 Dotazník • Najetablovanejšia technika zberu dát od respondentov v sociálnych vedách • Nevyžaduje priamu interakciu výskumníka s respondentom (pošta/telefón/online) • „Jednoduchá“ cesta ako získať dáta od veľkého počtu osôb  využitie hlavne v kvantitatívnom výskume • Štandardizovaná/štrukturovaná podoba  posilňuje validitu a reliabilitu výskumu 2 Dotazník: silné stránky • Zisk dát od veľkého počtu respondentov • Rýchlo (závisí na zdrojoch a možnostiach) • Lacno (relatívne – závisí od formy distribúcie, požiadaviek na vzorku (agentúra?)) • Nižšie požiadavky na zaškolenie tazateľov (v porovnaní s kvalitatívnymi metódami (pozorovanie/obsahová analýza, ...)) • Pomerne presvedčivá anonymita (ale závisí na distribúcii) • Nižšie skreslenie dát z dôvodu osoby výskumníka – „interviewer bias“ (opäť závisí na forme distribúcie) 3 Dotazník: slabiny • Vysoké nároky na respondenta – musí byť ochotný odpovedať • Spoliehanie sa na to, že odpovedal pravdivo • Spoliehanie sa na to, že odpovedal skutočne konkrétny respondent (závisí na forme distribúcie) • Riziko vynechania niektorých otázok (závisí na forme distribúcie – force response?) • Riziko nízkej návratnosti (nekompletný/nereprezentatívny dataset) 4 Otázky: príklad ESTA 5 Dotazník: skôr než začneme • Čo chcete pomocou dotazníka zistiť? (VO, hypotézy,..) • Aké konkrétne výstupy potrebujete získať? Kto je skúmaná populácia? Aké dáta? Ako budete dáta analyzovať? Prvé kroky: Konceptualizácia a operacionalizácia teoretického konštruktu, ktorý chceme merať • Definovanie konceptu a jeho dimenzií • napr. „spokojnosť so zamestnaním“ – dimenzie – spokojnosť s platom, spokojnosť s nadriadeným, spokojnosť s pracovnými podmienkami, …) • Operacionalizácia – stanovenie empirických indikátorov a ich transformovanie do konkrétnej otázky v dotazníku 6 Otázky • Základný stavebný kameň dotazníka • Dôležité nielen to ČO sa chceme pýtať, ale aj AKO sa to chceme pýtať • Správna formulácia otázky zaručí: • ochotu odpovedať • odpovedať pravdivo • „Rád bijete svoje deti?“ • „Ako často páchate trestnú činnosť?“ • „Považujete sa za psychicky chorého človeka?“ • Formulovanie otázok nie je vôbec banalita  množstvo potenciálnych pochybení  tvorba dotazníka vyžaduje pozornú prípravu 7 Otázky: základné delenie • Otvorené • Respondent odpovedá podľa vlastnej úvahy vlastnými slovami • Typicky od respondenta očakávame nejaké vysvetlenie (otázky Prečo? Ako?, ...) • Netlačia respondenta do potenciálne skreslenej odpovede • Jednoduchšie pochopiteľné (v porovnaní s inými typmi) • Vyžadujú od respondenta viac úsilia (kvalita odpovede závislá na vyjadrovacích schopnostiach respondenta) • Predlžujú dobu vypĺňania dotazníka • Jednoduché na vytvorenie, náročné na analýzu 1. Uveďte hlavné dôvody, prečo ste sa rozhodli vstúpiť do armády: ................................................................................................ ................................................................................................ 8 Otázky: základné delenie • Uzavreté • Respondent si musí vybrať z ponúkaných odpovedí • Ťažšie na vytvorenie, jednoduchšie na analýzu (pripravené) • Odpovede sú jednoducho kvantifikovateľné (1 = úplne súhlasím, 2 = skôr súhlasím, 3 =ani súhlas ani nesúhlas, 4 = ... ) • Rýchlejší zber dát • Vyššia miera anonymity • Väčšia reliabilita naprieč respondentami (pochopenie otázky) 2. Ktoré ročné obdobie máte najradšej?  Jar  Leto  Jeseň  Zima 9 Otázky: špecifické typy • Likertová škála • Jeden z najčastejšie využívaných typov • Zložená z výrokov umiestnených na pomyselnej ose (súhlasím- nesúhlasím) • Vhodná na meranie postojov (politikám/aktérom/opatreniam ...) • Typicky: zisťovanie miery spokojnosti alebo súhlasu • Odpoveď na škále = numerické skóre (pripravené pre štat. analýzu) • Dĺžka škály (5/7/9?) „Ako veľmi ste spokojný/spokojná s vedením Vášho mesta?“ Velmi nespokojený Prevažne nespokojný Ani - ani Prevažne spokojný Veľmi spokojný 54321 10 Otázky: špecifické typy • Sémantický diferenciál • zachytenie jemnejších rozdielov v postojoch alebo pocitoch • lepšie pochopenie respondentovho vnímania skúmaného objektu • meria umiestnenie postoja na škále medzi dvomi bipolárnymi, protikladnými hodnoteniami • Škála 3/5/7 (nepárna kvôli neutrálnemu postoju) 11 Otázky: špecifické typy • Zoznam položiek/Výber z možností • Respondent si vyberá z vopred pripraveného zoznamu jednu alebo viac odpovedí (single vs. multiple choice) • Ponúkané možnosti musia byť jasné, kompletné no vzájomne sa neprekrývajúce 3. Prosím, vyberte si svoju vekovú skupinu:  menej než 18  18 až 25  25 až 35  45 a viac 12 Konštrukcia dotazníka • Základné požiadavky • Jednoduchosť (naberá význam pri distribúcii na diaľku) • Zrozumiteľnosť (formulácia otázok, vizuálna stránka) • Logické usporiadanie (skupiny otázok, od všeobecného ku konkrétnemu) • Príťažlivosť pre respondenta (benefit/vizuál/záujem o problematiku) • Zahrnutie len toho, čo chceme naozaj zistiť ( dĺžka,  cena,  ochota vyplniť)  Definovaný výskumný cieľ, prípadne hypotézy 13 Konštrukcia dotazníka • Úvodná časť • Väčšina respondentov, ktorí dotazník nedokončia, skončia práve tu! • Cieľ: získať pozornosť, ochotu (motivácia) a dôveru respondenta • Informácie o účele dotazníka/anonymite/časovej náročnosti/odmene • Inštrukcie • Jednoduché otázky s minimálnou záťažou, zaujímavé (upútanie pozornosti) • Nezačínať s demografickými otázkami (– pocit narušenia anonymity, radšej na záver) • Výnimka: filtračné otázky (rôzni participanti = rôzny prechod dotazníkom) 14 Konštrukcia dotazníka • Prostredná (hlavná) časť • Kľúčové, meritórne, otázky výskumu • Logické celky • Vyššia záťaž pre respondenta • Ku koncu (záver) • Respondent môže byť unavený • Citlivé/problematické otázky (možná negatívna reakcia respondenta) • Demografické otázky • Poďakovanie 15 Najčastejšie chyby • Tvorba dotazníku poskytuje veľký priestor pre chyby  premyslieť a testovať • Nevhodne zvolené poradie otázok • Poradie otázok môže skresliť odpovede • Napr.: ak sa budeme pýtať najprv na spokojnosť v nejakej špecifickej oblasti života (práca), tak to môže ovplyvniť odpovede na všeobecné otázky o spokojnosti (život ako taký) • Priming – ovplyvnenie odpovede indukovaním nesúvisiacej myšlienky • Ako veľmi máte radi Francúzske jedlo? • Ktoré sú vaše tri najobľúbenejšie dovolenkové destinácie? • Séria veľmi podobných otázok po sebe  strata pozornosti  rovnaké odpovede („habituácia“) 16 Najčastejšie chyby • Nevhodne zvolené poradie možností odpovede • tendencia vyberať odpovede, ktoré sú „najbližšie“ (fyzicky/vizuálne) • pri nejasných/náročných otázkach • pri množstve podobných možností odpovede • napr. zisťujeme čo v ľuďoch vyvoláva úzkosť: 17 • strach zo smrti, • choroba, • obavy zo straty zamestnania, • škaredé počasie, • dlhy, • vojna, • nedostatok financií • ... Najčastejšie chyby • Sugestívne otázky • navádzajú na určitú odpoveď • manipulatívne/zaujaté formulácie • Podporujete v týchto ťažkých časoch, kedy COVID-19 pácha viac škôd než 2. svetová vojna, kroky súčasnej vlády? • Bolo rozhodnutie vlády znížiť výdaje na obranu, vďaka čomu sa stala naša krajina zraniteľnejšou, dobrým krokom? • Nenúťte respondentov odpovedať • Ak by odpovedanie malo vyvolať psychický diskomfort alebo nepravdivé odpovede (vedomostné otázky) • Neviem/Nechcem odpovedať • Pri kľúčových otázkach nie je na výber 18 Najčastejšie chyby • Otázky obsahujúce súhlas • formulovanie otázky ako súhlas s tvrdením • jednoduché  často využívané • kontroverzné - tendencia vyjadriť súhlas bez ohľadu na obsah tvrdenia • Súhlasíte s tým, že muži sú vhodnejšími kandidátmi na prezidenta než väčšina žien? • riešenie: vybalansovať formuláciu – súhlas aj nesúhlas • Povedali by ste, že muži sú vhodnejšími kandidátmi na prezidenta než väčšina žien, rovnako vhodnými ako ženy, alebo že ženy sú vhodnejšími kandidátkami než muži? 19 Najčastejšie chyby • Dvojhlavňové otázky • double-barreled questions • dve otázky v jednej • respondent nemôže/nechce na jednu časť otázky odpovedať •  nepresné odpovede/žiadne odpovede • Považujete trest smrti za historický prežitok a myslíte si, že by sa mal zakázať na celom svete? • Sú rodinné stretnutia pre Vás a Vašu rodinu dôležité? 20 Najčastejšie chyby • Komplikované a vyčerpávajúce otázky • Podporujete alebo odmietate systematickú reformu imigračnej politiky, ktorá by umožnila orgánom štátnej správy efektívne administrovať proces udeľovania vízových povolení a posilňovala súčasné legislatívne nastavenia? • Vágne a málo špecifické otázky • Kedy ste sa prisťahovali do Brna? (pri otvorenej otázke nejasný typ odpovede – po strednej škole/keď som mal 20 rokov/... ) • Ste ranné vtáča? Ak sa spätne pozriete na posledných sedem dní, v akom čase zvyknete ráno vstávať? 21 Najčastejšie chyby • Používanie menej známych skratiek • Súhlasíte s vyjadreniami NÚKIB ohľadom zvýšeného rizika kybernetických hrozieb? • Otázky bez časového ohraničenia • Koľko cigariet ste vyfajčili za celý svoj život? • Používanie slangu/žargónu • Do akej miery podľa vás ohrozujú antiwaxeri verejné zdravie? • Používanie dvojitého (viacnásobného) záporu • Myslíte si, že nie je správne, ak polícia nemôže efektívne zasiahnuť proti environmentálnej kriminalite? 22 Najčastejšie chyby • Používanie citlivých otázok • Bijete svoje deti? • Projekčné otázky: • Niektorí ľudia zvyknú biť svoje deti. Aký je váš osobný názor na používanie fyzických trestov pri výchove detí? • Vek, príjem - intervaly 23 • Otázky s nevhodne zvolenými možnosťami odpovede • Ponúkajú väznice dostatočný priestor pre vzdelávacie aktivity, alebo by sa mal rozšíriť? • ÁNO - NIE Pilotáž • Predbežné otestovanie dotazníka na menšej vzorke (akej?) • Overíme si: • ako dlho trvá vyplnenie dotazníka • či je rozsah dotazníka pre respondenta ešte únosný • či respondenti otázkam rozumejú (a rozumejú im správne) • či respondenti rozumejú inštrukciám vypĺňania pri zložitejších otázkach • či nám niektoré otázky nechýbajú (alebo nechýbajú možností odpovede) • Aj vo forme následného kvalitatívneho rozhovoru 24 Praktické aspekty • Výber vzorky • Kto budú respondenti (charakteristika) a prečo? • Spôsob distribúcie • Ako dotazník dostanem k respondentom? • Návratnosť dotazníka • Ako dosiahnem čo najväčšiu ochotu respondentov odpovedať na moje otázky? 25 Výber vzorky Základné pojmy: • Populácia (základný súbor) • Všetky subjekty, na ktoré sa majú výsledky výskumu vzťahovať • Príklad: výskum členov Armády ČR  VŠETCI členovia Armády ČR • Ťažko dostupná • Vzorka (výberový súbor) • Skupina sledovaných jednotiek – výber z populácie • Vždy menší ako populácia (logicky ) • Cieľ: získať na základe odpovedí od vzorky výsledky zovšeobecniteľné na celú populáciu 26 Výber vzorky • Práca so vzorkou je teda veľmi často nevyhnutná • Naopak práca s celou populáciou nie je nutná (štatistické metódy) • Praktické výhody práce so vzorkou: • Nižšie finančné náklady • Menšia časová náročnosť • Jednoduchšia organizácia • Správna vzorka: • čo najvernejšie imituje celú populáciu • reprezentatívna • samotná veľkosť nie je až tak podstatná • ako skonštruovať správnu vzorku? (rôzne prístupy výberu) 27 Náhodný výber • Každá jednotka populácie má rovnakú pravdepodobnosť, že sa dostane do vzorky • Mechanizmus výberu: losovanie z osudia, generovanie náhodných čísiel • Parametre výberu nie sú ovplyvnené výskumníkom, len náhodou • Čím väčšia vzorka, tým viac sa podobá populácii • Rozdiel je stále pomalší • Ohľad na pomer cena/výkon • Ak pridám 10 000 jednotiek do vzorky nad rámec prvých 1000, bude imitácia populácie o niečo presnejšia, ale náklady budú neúmerné • Výhody: • Imituje nielen známe, ale aj neznáme/nepozorovateľné vlastnosti populácie 28 Kvótny výber • Jednotky nemajú rovnakú pravdepodobnosť výberu • Jednotky do vzorky vyberáme na základe výskytu pozorovateľných znakov v danej populácii (pohlavie, vek vzdelanie, ..) • Rozloženie znakov vo vzorke musí zodpovedať rozloženiu v celej populácií • Príklad: výskum členov Armády ČR • Vo vzorke musí byť rovnaký podiel jednotlivých hodností/vekových kategórií, pohlavia atď. ako v celej armáde • Slabiny: • POZOR: imituje iba známe (pozorovateľné) vlastnosti populácie • Pri kombinovaní viacerých znakov  možný nedostatok jednotiek (napr.: muž, 45-50 rokov, z obce do 2000 obyvateľov, s právnickým vzdelaním) 29 Ďalšie nepravdepodobnostné výbery • Anketa • problém: samovýber, výber respondentov nie je nijako kontrolovaný výskumníkom (rôzna ochota vyplniť dotazník) • Snowball • respondent doporučí ďalších vhodných respondentov • Problém: nemožnosť zovšeobecňovania výsledkov na celú populáciu 30 Spôsob distribúcie dotazníka • Dotazník nutne nevyžaduje osobný kontakt s respondentami • Existujú osobné (bezprostredné) aj diaľkové formy • Každá ma svoje výhody aj nevýhody • Neexistuje jediná IDEÁLNA/NAJLEPŠIA forma distribúcie 31 Spôsob distribúcie: face-to-face • VÝHODY: • Zisk spätnej väzby vďaka kontaktu s respondentom (testovanie dotazníka) • Priestor pre vyjasnenie otázok (radšej formulovať otázky jasne už vopred) • Vyššia návratnosť • NEYHODY: • Časovo aj finančne nákladné • Spochybnená anonymita • Interviewer bias (tazateľové charakteristiky ovplyvnia odpovede) • Sociálna „dezirabilita“ (social desirability) 32 Spôsob distribúcie: diaľkovo • Telefonicky, poštou, online • VÝHODY: • Pokrytie veľkej skupiny osôb • Vyšší (pocit) anonymity • Nižšia cena a menšie časové nároky • Jednoduchší management zberu (pozvánky, dáta,...) • Možnosť interaktívneho dotazníka (online) • Zmierňujú problém s interviewer bias a social desirability (konzumácia alkoholu, výchova detí, ...) • NEVÝHODY: • Nižšia návratnosť (častejšie predčasné ukončenie) • Vyplňuje dotazník skutočne náš respondent? • Problematická dostupnosť niektorých segmentov populácie (starí ľudia, vylúčené lokality, ...) • Nemáme kontrolu nad kontextom, v ktorom sa respondent nachádza (otázky na momentálne pocity – zima/stres/smútok, ...) 33 Návratnosť dotazníka • Kľúčový aspekt: nízka návratnosť ohrozuje reprezentativitu (aj samotný výskum) • Faktory, ktoré ju môžu zvýšiť: • Vzhľad (dizajn) dotazníka (čitateľné farby/obrázky/pozadie/fonty) • Dĺžka dotazníka • Čím dlhší, tým menšia ochota odpovedať (informovať na začiatku, pravdivo!) • Nevyčerpať respondenta • Dlhší dotazník „rozbiť“ zmenami v jeho priebehu (grafické odpovede, typ otázky) • Znenie otázok a ich štruktúra • Logické členenie (nemiasť respondenta) • Pozor na citlivé, osobné otázky 34 Návratnosť dotazníka • Faktory, ktoré ju môžu zvýšiť (pokračovanie): • Odmeny pre respondentov • priama odmena pre každého alebo lotéria • „Rozumná“ výška odmeny (malá – neochota, vysoká – neetické) • Pozor pri online dotazníkoch – tendencia zapojenia blízkych osôb kvôli odmene (deformácia reprezentatívnosti) • Nefinančná odmena: kredity (áno/nie?) • Riziko vychovania „pokusných králikov“ (profesionálnych respondentov) • Správanie výskumníka • Dôveryhodnosť organizácie realizujúcej výskum 35 Návratnosť dotazníka • Návod na zlý dotazník: • Príliš dlhý • Príliš veľa otázok mapujúcich aj nepodstatné informácie • Vysoká cena • Nízka návratnosť • Nelogicky zoskupené otázky/nevhodne zvolené poradie • Prítomnosť najčastejších chýb • Sugestívne • Vágne • Komplikované • Dvojhlavňové/slang/dvojitý zápor,... • Nevhodné/nepríjemné vystupovanie výskumníka (face-to-face, telefón) 36 Etické aspekty • Bežná zdvorilosť – oslovenie, poďakovanie za účasť (aj pri odmietnutí) • Oboznámenie respondenta s témou výskumu • stručne (!), aby nebol ohrozený samotný výskum (napr. výskum sexuálneho obťažovania na pracovisku) • pravdivo (aj keby klamstvo malo zvýšiť ochotu odpovedať) • organizačné pozadie • Zaručenie (pocitu) anonymity a dôvernosti • pozor na prvky, ktoré by mohol respondent chápať ako identifikačné znaky (napr. výskum v mieste bydliska, IP adresa pri online zbere, telefónne číslo pri tel. zbere) • výskum špecifických populácií (napr. týrané ženy) • Dosiahneme: • pravdivejšie a úprimnejšie odpovede • zvýšime ochotu odpovedať (reprezentativita vzorky) • Účasť musí byť dobrovoľná • respondent o tom musí byť vopred informovaný • možnosť kedykoľvek odstúpiť od výskumu • výnimky: napr. sčítanie obyvateľstva, lekárske vyšetrenia, študenti ako súčasť hodnotenia (účasť za kredity?) 37 Etické aspekty • Informovaný súhlas na začiatku dotazníka • Účel výskumu a základná procedúra • Naznačenie potenciálneho rizika a ujmy, ak existuje (napr. citlivé otázky) • Informácie o benefitoch plynúcich z účasti (peňažné/spoločenské) • Popis mechanizmu výberu respondenta (oprávnené obavy, napr. týrané ženy) • Ponuka zodpovedania akejkoľvek otázky výskumníkom (face-to-face vs. online) • Ubezpečenie o dobrovoľnosti účasti (a možnosti odstúpenia) • Informácie o realizátorovi a sponzorovi výskumu • Informácie o nakladaní s dátami (anonymizácia odpovedí), GDPR • Vyslovenie jasného a preukázateľného SÚHLASU s účasťou (face-toface vs. telefón/online) • Problematické pri niektorých populáciách (napr. utečenci a potenciálne perzekúcie, zamestnanci a strach z nadriadeného, mentálne znevýhodnení) 38 Etické aspekty • Asistencia pri vypĺňaní • špecifické populácie (seniori, vylúčené lokality, deti) • Pozor! Bežná asistencia (zapisovanie odpovedí) vs. podnecovanie/navádzanie na konkrétne odpovede (analógia k sugestívnym otázkam) • Nenavádzať ani nepriamo: • „Ktoré problémy najviac trápia vašu obec? Zaškrtnite všetky možnosti“ Nedostatek parkovacích miestNečistota na uliciach Zlý stav ciestSmog Málo zelenePouličná kriminalita Nedostatok detských ihrískHluk vo večerných hodinách Korupcia na radniciNespoľahlivosť verejnej dopravy 39 Nástroj na tvorbu dotazníkov 40 • Tvorba online dotazníkov • Jednoduchý a intuitívny dizajn • Množstvo funkcionalít (zobrazovacia a prechodová logika, vetvenie, kvóty, distribúcia a zber, ...) • Dostupná neobmedzená licencia • Vzdialený prístup