Dotazník Metodologie výzkumu Tomáš Pruša 2. 5. 2019 Dotazník • Písemné kladení otázek a zjišťování písemných odpovědí • Hromadné získávání údajů • Zdánlivě lehká metoda => mnoho špatných dotazníků Terminologie RESPONDENT Osoba, která dotazník vyplňuje POLOŽKY Jednotlivé prvky dotazníku ADMINISTRACE Způsob zadávání dotazníku NÁVRATNOST DOTAZNÍKU Response rate Informace před tvorbou • Výzkumné hypotézy • Literární rešerše • Observační deskriptivní studie • Validované škály • Literární rešerše (cílová populace, překlad) • Zkoumaný vzorek se vztahem k cílové populaci • Způsob komunikace • Způsob distribuce Tvorba dotazníku není volnou tvorbou a má svá pravidla. Při jejich nedodržení získáváte nekomparovatelná a nevalidní data vzhledem k cíli svého výzkumu. Cíl dotazníku Nutné přesně formulovat cíl a úlohu dotazníku ve vztahu ke zkoumanému výzkumnému problému! • Jasná celková koncepce dotazníku • Orientace na hlavní výzkumné body • Vstupní a výstupní proměnné • Confounding faktory • Jasné zaměření jednotlivých položek • Zajištění validity a komparovatelnosti Struktura • Promyšlená (!) • Obhajitelnost každé položky • Vhodná granularita položek (hlavní proměnné vs confounding) • Členění • Dotazník je rozdělen do několika okruhů či témat • Okruhy se naplňují položkami Základní části dotazníku • Vstupní část • Položky dělené dle témat • Poděkování za spolupráci Vstupní část dotazníku • Hlavička • Představení instituce a/nebo autorů • Vysvětlení cíle • Zdůrazní se význam respondentových odpovědí pro řešení problematiky • Motivace respondenta k pečlivému vyplňování a vrácení dotazníku • Pokyny • Ilustrativní příklad vyplnění Položky dotazníku • Obecné doporučení psychologů • Začátek: otázky lehčí, přitažlivější se snahou upoutat a neodradit respondenta • Uprostřed: náročnější otázky, méně zajímavé • Konec: faktografické otázky (nejsou náročné) Toto doporučené je obecné a nemusíme se ho vždy držet. Uzavřené položky dotazníku • Nabízí hotové alternativní odpovědi • Respondent zaznačí (zakroužkuje, podtrhne) vhodnou odpověď • Varianty odpovědí se připraví na základě poznání problematiky a předvýzkumu (dotazník, interview) • Výhoda – lehké zpracování (elektronizace a kódování) Uzavřené položky dotazníku Dichotomická položka • Nabízí odpovědi ano – ne • Přináší jen základní informaci na položenou otázku • Typ odpovědi neumím se vyjádřit, nevím, neumím se rozhodnout, nedovedu posoudit je velmi důležité • Kdyby byl respondent donucen vyjádřit se ANO - NE, zkreslilo by to výsledky Otevřené položky dotazníku • Respondent má velkou volnost odpovědí • Otázka jen nasměruje, neurčuje alternativní odpovědi • Nevnucují volbu • Zdroj nových, neznámých údajů • Odpovídá se však obtížněji – časově pomalejší, náročnější Otevřené položky dotazníku • Obtížně se zpracovává – dodatečně se kategorizuje • Dotazník se 20 otevřenými otázkami • Zadán 150 respondentům • Na každou položku cca. 20 možných variant odpovědí • => celkem 400 variant!!! • Tentýž dotazník s uzavřenými odpověďmi • cca. 5 variant na položku • Celkem 100 variant - navíc již kategorizovaných Polouzavřené položky dotazníku • Nabízejí nejprve alternativní odpověď • Potom žádají o vysvětlení, objasnění Souhlasíte se zřízením speciálních škol pro nadané děti? Ano – ne. Pokud ano, proč? ………….. Škálované položky dotazníku • Význam lichých počtů (Likertova škála) Doporučení 1. Věnujte velkou pozornost každému slovu v položce Kolik šálků kávy vypijete za den? 1 2 3 4 5 a více Co je na této položce chybně? • Šálek kávy nevyjadřuje intenzitu kávy (pro výpočet množství kofeinu nevhodné). • Nejednoznačnost: Co když pije i v noci (zkouškové období)? • Sezónnost: Co když o prázdninách nepije? Doporučení 2. Formulujte jasné otázky/položky • Terminologie • Respondenti budou rozumět stejným způsobem • Jasná otázka pro autora dotazníku nemusí být jasná pro respondenty Doporučení 2. Formulujte jasné otázky/položky Jakou podlahovou krytinu používáte? a) Vinyl, PVC (lino) b) Přírodní linoleum c) Přírodní marmoleum d) Parkety, dřevo korek e) Dlažba f) Lamino g) Koberec Doporučení 2. Formulujte jasné otázky/položky Jak často jíte luštěniny? SZZ: Co je košťálová zelenina? Jaké druhy vína znáte? Doporučení 3. Příliš široké znění vede k příliš volným odpovědím Jaký je váš názor na profesní organizaci nutričních terapeutů? • Jaká profesní organizace NT je dotazována? Doporučení 4. Výrazy Několik, průměrně, obyčejně, někdy Respondenti tyto výrazy interpretují různě. Snaha se jim vyhnout. Kolik hodin průměrně týdně strávíte v práci? • Část respondentů udělá součet hodin za týden. • Část respondentů udělá průměr hodin strávených za ten. Doporučení 5. Vyhněte se dvojitým otázkám Nutriční terapeutky a terapeuti pracující v nemocnici jsou povinni dodržovat hygienická pravidla daná legislativou a proto nemohou nabízet stravování formou švédských stolů. Souhlasím – Nesouhlasím Respondent může odpovídat pouze na jednu část věty. Doporučení 6. Dávejte jen takové otázky, na které respondenti dovedou odpovědět. Zohlednit vzdělání, věk, kognitivní schopnosti, aj. Klasický problém je u FFQ: • Jak často jste jedl/a v posledních 3 měsících kedlubny a ředkvičky v porci 50 g? Doporučení 7. Otázky musí být pro respondenty smysluplné Když dáte otázky, ke kterým nemají vztah, nebo nevidí vztah k tématu dotazníku, odpoví povrchně. Dotaz na spánek v nutričním dotazníku (rMEQ). • Odborník: Kvalita spánku ovlivňuje složení těla. • Bez vysvětlení respondent nevidí smysl škály rMEQ v nutričním dotazníku. Doporučení 8. Tvořte jednoduché otázky • Otázky mají být lehce pochopitelné, lehce zodpovídatelné • Dlouhým jde hůře rozumět • Znechucují respondenty • Zpomalují vyplňování dotazníku Doporučení 9. Vyhněte se záporným výrazům • Často se přehlédnou (VŠ test) • Často se nesprávně interpretují (neporozumění) Uzeniny nejsou mými oblíbenými potravinami. Souhlasím – Nesouhlasím • Pokud je nutné použít záporné slovo, zvýrazněte ho tiskem • Zcela vylučte dvojitý zápor Nedomnívám se, že jsou nutriční terapeutky/terapeuti nerespektovaní. Ano – Ne Doporučení 10. Vyhýbejte se otázkám, které vzbuzují předpojatost • Týkají se obvykle nějaké osoby nebo instituce Souhlasíte nebo nesouhlasíte s návrhem vašeho vedoucího? Ano – ne • Na některé otázky respondent odpovídá tak, jak je to společensky žádoucí, i když je dotazník anonymní. Zesměšňuje některý kolega své pacienty na oddělení? Ano – ne Možné řešení (mimo přeformulování otázky): Přeformulace odpovědí ano – někdy ano, někdy ne – záleží to na situaci – ne Způsob tvorby položek 1. Existující škála přeložená do češtiny a validovaná pro stejnou cílovou populaci 2. Existující škála přeložená do češtiny a validovaná pro jinou cílovou populaci 3. Existující škála nepřeložená do češtiny a validovaná pro jinou cílovou populaci 4. Modifikace existujících škál 5. Tvorba vlastní škály Existující škála přeložená do češtiny a validovaná pro stejnou cílovou populaci • Primární cíl • Zajistí sběr validních dat a následnou komparovatelnost • Příklady: • Vzdělání – škála odpovědí dle ISCED • Zaměstnání – Kódování a grouping dle ISCO • Pohybová aktivita – kompletní škála IPAQ Existující škála přeložená do češtiny a validovaná pro jinou cílovou populaci • Jiná populace: • Jiná věková kategorie • Těhotné • Jiné vzdělání • … • Součást pilotáže by měl být i validační proces. Existující škála nepřeložená do češtiny a validovaná pro jinou cílovou populaci • Zahraničí = jiný sociokulturní kontext = jiná cílová populace • Překlad • Dvojitý zpětný překlad (profi) • Důraz na správnou terminologii • Potřeba validace Modifikace existujících škál • Modifikací se ztrácí přirozeně validita škály (nutnost opakovat) • Problematická komparovatelnost • Materiální deprivace • Indikátor míry materiální deprivace je v současné době definován jako podíl osob, který čelí nedostatku v nejméně 4 z 9 následujících položek, které si domácnost nemůže z finančních důvodů dovolit: 1. Zaplatit neočekávaný výdaj ve výši několika tis. Kč (10 200 pro rok 2018). 2. Jíst maso, drůbež nebo ryby (nebo jejich vegetariánské náhražky) každý druhý den. 3. Dostatečně vytápět byt. 4. Zaplatit ročně všem členům domácnosti alespoň týdenní dovolenou mimo domov. 5. Mít pračku. 6. Vlastnit barevnou televizi. 7. Mít telefon. 8. Používat osobní automobil. 9. Hradit náklady spojené s bydlením – nájemné, splátky hypotéky, platby za energie (elektřinu, teplo, plyn a vodu) a splátky ostatních půjček, úvěrů nebo leasingu. Modifikace existujících škál • SFFQ • Cíl analýzy definuje podobu dotazníku • Skupiny potravin/potraviny • Nutrienty • Výživové vzorce • Organizačně-technické možnosti definují rozsah dotazníku • Plnohotnostný SFFQ vs průvodka • Lokální/regionální potraviny • Grouping potravin Tvorba vlastní škály • Nikdy není první volba (literární rešerše) • Problematická komparovatelnost • Volba standardu • Např. škálu otestuji u různých věkových/vzdělanostních kategorií (čtivost) • Potřeba validace Citlivost škál • Není škála citlivá pouze na jednom ze svých krajů? Jakou frekvenční škálu použijete pro SFFQ? Validace • Validita je platnost získaných výsledků vzhledem ke skutečnosti. • Obsahová validita odpovídá na otázku, zda test měří skutečně to, co jsme chtěli zkoumat. Například v testu inteligence chceme měřit míru nějaké obecné inteligence, ale dost možná zkoumáme jen určitou část schopností tímto testem měřenou (která s inteligencí souvisí, ale pravděpodobně ji nezachycuje v celé komplexnosti a šíři). Validace • Kritériová validita označuje míru shody se stanoveným kritériem. • Souběžná validita určuje míru shody více měření v jednom okamžiku – v tomto případě ve zhruba stejném okamžiku měříme vlastnost více různými metodami. • Prediktivní validita určuje schopnost testu předpovídat výsledek v budoucnosti, například vysoká validita v přijímacích zkouškách na střední školu znamená, že student s dobrým výsledkem bude dosahovat dobrého studijního prospěchu. • Konstruktová validita je míra, v níž výsledek v testu reprezentuje teoreticky stanovený konstrukt (pojem, termín apod.). • Ekologická validita určuje využitelnost výsledků v praxi. Některý test skutečně může velmi dobře měřit nějaký hypotetický konstrukt, ale v praxi jsou jeho výsledky neuplatnitelné, nebo se v běžném životě neprojevují. To je důležité zjistit zejména při laboratorním testování. • Inkrementální validita se používá v případě, že se jeden test skládá z více subtestů (součástí), nebo měříme jednu věc více metodami. Určuje míru zpřesnění výsledku první metody druhou metodou. Validace v nutriční epidemiologii • Validace dotazníků • FFQ vs záznamové metody (0,4–0,7) • Biochemické markery • Biomarkery • Energetický příjem a značená voda • Dusík v moči a bílkoviny • Složení tuku ve stravě a v membránách Erys/adipocytů • Lignin a vláknina cereálií, DHBA and DHPPA • Vždy k cílové populaci! Atlas porcí • Proces identifikace velikosti porce • Proces vnímání (technické specifikace) • Konceptualizace (schopnosti respondentů) • Paměť Jak provedete validaci atlasu porcí? Validita položek • Vysokou validitu mají faktografické položky • Věk, pohlaví • Položky vyžadující odhad nebývají přesné, je třeba údaje v mysli rekonstruovat • Kolik času věnujete týdně studiu? • Jakým způsobem jste se dozvěděli o nové knize? • Nižší validitu mají také položky týkající se názorů, postojů, zájmů Validita položek • Správnost odpovědí respondentů nezáleží jen na znění otázky/položky, ale i na respondentech samotných • Někdo odpovídá pečlivě, pravdivě • Někdo k vyplňování přistupuje volně, přibarvuje si • Záměrné zkreslení (obézní, OPL) Počítat s povrchním odpovídáním zejména • u neanonymních dotazníků • u anonymních, když respondent považuje dotazník za nedůležitý Validita položek • Lži- otázky, lži-skóre • Zaměřené na chování, které neodpovídá společenské normě, nicméně se ho lidé dopouští Míváte občas myšlenky anebo nápady, o kterých byste si nepřáli, aby je měli jiní lidé? Ano – Ne Reliabilita Reliabilita je statistická veličina, udávající spolehlivost testu, který měří lidské vlastnosti. • Závisí na více vlastnostech • Jednou z nich je vnitřní konzistence • Je tím vyšší, když obsahuje více otázek, které se ptají na tutéž informaci. Pilotáž Předvýzkum • Lze pomocí interview • Respondent vysvětlí, jak rozumí otázce • Nejasné položky se upraví • Nabídka odpovědí může být modifikována • Zjistí se, proč respondenti na některé otázky neodpovídali • Zjistí se výskyt odpovědi Nevím • Podíl takových otázek by měl být max. 5% Pilotáž Předvýzkum • Následně na malám počtu provedena distribuce finálních dotazníků • Elektronizace dat • Vyhodnocení • Jsou škály dostatečně citlivé? • Jsou škály validní? Na co myslet obsahově • Nepokládat redundantní otázky • Motivujte, neodrazujte • Otázku „Váš věk?“ lze nahradit otázkou „Rok ukončení základní školy?“ (dodatečný přepočet) • Střídání typů otázek může udržet pozornost, ale i unavovat. Na co myslet formálně • Vhodnost elektronického dotazníku • Rozdílnost v psychologii vyplňování papírového/elektronického dotazníku • Délka dotazníku • Bezpečnost (zdravotnických) dat • Možnost vyplňovat dotazník opakovaně z jedné ip adresy • Pravidla českého jazyka – jednotnost • Návratnost Děkuji za pozornost.