Metodologie výzkumu Dotazník Tomáš Pruša Eliška Hrežová Metody a techniky sběru •Kvalitativní - cílem je vysvětlení, děláme ke zjišťování základních souvislostí, začíná bez hypotéz •Rozhovor, pozorování, analýza dokumentů • •Rozličné datové zdroje (texty, obrázky, dokumenty,…) • • • Metody a techniky sběru •Kvantitativní - umožňuje popsat statistickou závislost (testuje hypotézy), k vytváření obecných modelů (generalizace) •Standardizovaný rozhovor, dotazník • •Standardizovaná kvantifikovatelná data a metody výzkumu • • Průběh kvantitativního výzkumu - opakování •Příprava -formulace problému -rešerše -cíle a výstupy -hypotézy -pilotní studie -předvýzkum • •Závěr -analýza -interpretace dat -teoretické zobecnění - •Realizace - sběr dat Přípravná – formulace teoretického i praktického problému, rešerše, cíle a výstupy, hypotézy, pilotní studie (vzorek – malá skupina z cílové populace, technika sběru dat), předvýzkum (konstrukce nástroje pro sběr) Realizace – sběr dat Závěr – analýza, interpretace dat, teoretické zobecnění (Pracovní) hypotéza •Je tvrzení předpovídající existenci souvislosti mezi dvěma a více proměnnými. •Soubor pracovních hypotéz musí zahrnovat nejen proměnné reprezentující zkoumané koncepty, ale i ty, které mohou významně zkreslit interpretaci testovaných vztahů. •Pracovní hypotézy obsahují základní informaci pro optimální rozhodnutí o technikách výzkumu. •Pracovní hypotézy jsou základem pro odhad rozsahu výzkumu. • • Pilotní studie vs. předvýzkum •Pilotní studie - zjistit, zda je náš výzkum v dané populaci vůbec možný. Je prováděn na malé skupině vybrané z cílové populace. Technika se podstatně liší od techniky vlastního výzkumu, zpravidla je kvalitativní. Chce zjistit, zda hledaná informace v populaci existuje a je dostupná. Může být velmi důležitá. •Předvýzkum - má odzkoušet nástroje zkonstruované pro výzkum (srozumitelnost a jednoznačnost otázek atd.). Je prováděn na malém vzorku, ale větším než u pilotní studie. Opomenutí předvýzkumu je nesmírně riskantní. Je to test nástrojů. • Zdroje dat pro výzkum - opakování •Kde byste hledali data o: • •úmrtnosti v ČR • •konzumaci ovoce a zeleniny v ČR • •socioekonomické údaje za celou Evropu • •úmrtnosti na diabetes mellitus za celý svět •GBD • •Demografická ročenka (ČSÚ) • •Výběrové zdravotní šetření (EHIS) • •European Health Information Gateway • •Zdravotnická ročenka (ÚZIS) • • Primární, sekundární, kvalitativní, kvantitativní Úmrtnost v ČR – demografická ročenka (ČSÚ), zdravotnická ročenka (ÚZIS) Konzumace ovoce a zeleniny v ČR – výběrové zdravotní šetření EHIS Socioekonomické údaje za Evropu – European Health Information Gateway, EUROSTAT Úmrtnost diabetes mellitus v celém světě – GBD Další zdroje: Novotvary celý svět - https://gco.iarc.fr/today/home EUROSTAT - https://ec.europa.eu/eurostat Sběr dat - vyčerpávající vs. výběrová šetření •Vyčerpávající – úplná •U výběrových šetření nutné zajistit reprezentativnost výběrového souboru = vzorku • •Nepravděpodobnostní výběr -kvótní výběr -sněhová koule •Pravděpodobnostní výběr -prostý náhodný -systematický -stratifikovaný náhodný -vícestupňový náhodný Vyčerpávající – poukázat na právě probíhající sčítání obyvatelstva ČR Analýza dat •Popisná statistika •Závěry platí pouze pro jedince a měření, která byla k dispozici. • •Statistická indukce •Cílem odpovědět na specifickou otázku, která byla položena před začátkem sběru dat. •Závěry platí pro širší populaci. Výběrový soubor Základní soubor populace parametry data statistiky Popis reality obtížný Kvantitativní výzkum vychází z přírodních věd (přesně měřitelná a kvantifikovatelná skutečnost) Redukce informací, analýzy vztahu, populace, času •Výrazné zjednodušení popisu reality •Riziko zkreslení •Obtížné určení kauzality Interpretace - opakování •Zkreslení -konfirmační -haló efekt -klam přeživších •- klam dostupnosti • •Kauzalita a confoundery -průkaz příčinnosti obtížný -nejčastější confoundery? konfirmační - upřednostnění informací, které podporují můj názor haló efekt - první dojem Další na https://bezfaulu.net/kognitivni-zkresleni/ Bradford Hillova kritéria kauzality 1. síla asociace 2. konzistence asociace 3. specifita asociace 4. temporalita 5. biologický gradient 6. pravděpodobnost asociace 7. koherence asosiace 8. experiment 9. analogie (10. reverzní kauzalita) Dotazník Tvorba dotazníku není volnou tvorbou a má svá pravidla. Při jejich nedodržení získáváte nekomparovatelná a nevalidní data vzhledem k cíli svého výzkumu. Terminologie •RESPONDENT - osoba, která dotazník vyplňuje •POLOŽKY - jednotlivé prvky dotazníku •ADMINISTRACE - způsob zadávání dotazníku •NÁVRATNOST DOTAZNÍKU - response rate • Příprava •Výzkumné hypotézy •Literární rešerše •Observační deskriptivní studie • •Validované škály •Literární rešerše (cílová populace, překlad) • •Zkoumaný vzorek se vztahem k cílové populaci •Způsob komunikace •Způsob distribuce • Cíl dotazníku •Nutné přesně formulovat cíl a úlohu dotazníku ve vztahu ke zkoumanému výzkumnému problému, ale i k respondentovi! • •Jasná celková koncepce dotazníku •Orientace na hlavní výzkumné body • Vstupní a výstupní proměnné • Confounding faktory •Jasné zaměření jednotlivých položek •Zajištění validity a komparovatelnosti • Struktura dotazníku •Promyšlená (!) • Obhajitelnost každé položky • Vhodná granularita položek (hlavní proměnné vs. confounding) • •Členění • Dotazník je rozdělen do několika okruhů či témat • Okruhy se naplňují položkami • Základní části dotazníku •Vstupní část •Položky dělené dle témat •Poděkování za spolupráci • Vstupní část •Hlavička • Představení instituce a/nebo autorů • •Vysvětlení cíle • Zdůrazní se význam respondentových odpovědí pro řešení problematiky • Motivace respondenta k pečlivému vyplňování a vrácení dotazníku • •Pokyny • Ilustrativní příklad vyplnění • Položky •Logický sled • Tematické skupiny otázek •Dramaturgie sledu otázek • Snadné a zajímavé otázky •Méně zajímavé otázky •Zajímavé otázky - jiná forma Položky - uzavřené •Nabízí hotové alternativní odpovědi •Respondent zaznačí (zakroužkuje, podtrhne) vhodnou odpověď •Varianty odpovědí se připraví na základě poznání problematiky a předvýzkumu (dotazník, interview) •Výhoda – lehké zpracování (elektronizace a kódování) • • Položky - uzavřené •Dichotomické, trichotomické, výběrové, výčtové, seřazení položek, Likertova škála, sémantický diferenciál • • • • • • •Typ odpovědi neumím se vyjádřit, nevím, neumím se rozhodnout, nedovedu posoudit je velmi důležité. •Kdyby byl respondent donucen vyjádřit se ANO - NE, zkreslilo by to výsledky. Sémantický diferenciál Položky - otevřené •Respondent volně odpovídá na zadanou otázku •Otázka jenom nasměruje, nevnucuje a nenabízí voby odpovědí •Zdroj nových neznámých údajů •Často náročnější a komplikovanější •Obtížnější zpracování • Položky - polouzavřené •Nabízejí nejprve alternativní odpověď •Potom žádají o vysvětlení, objasnění • •Souhlasíte se zřízením speciálních škol pro nadané děti? • Ano – ne. Pokud ano, proč? ………….. • Způsob tvorby položek •1. Existující škála přeložená do češtiny a validovaná pro stejnou cílovou populaci •2. Existující škála přeložená do češtiny a validovaná pro jinou cílovou populaci •3. Existující škála nepřeložená do češtiny a validovaná pro jinou cílovou populaci •4. Modifikace existujících škál •5. Tvorba vlastní škály • Existující škála přeložená do češtiny a validovaná pro stejnou cílovou populaci •Primární cíl •Zajistí sběr validních dat a následnou komparovatelnost •Příklady: •Vzdělání – škála odpovědí dle ISCED •Zaměstnání – Kódování a grouping dle ISCO •Pohybová aktivita – kompletní škála IPAQ •FFQ - Nutritools Nutritools - https://www.nutritools.org/ Existující škála přeložená do češtiny a validovaná pro jinou cílovou populaci •Jiná populace: •Jiná věková kategorie •Těhotné •Jiné vzdělání •… • •Součást pilotáže by měl být i validační proces. Existující škála nepřeložená do češtiny a validovaná pro jinou cílovou populaci •Zahraničí = jiný sociokulturní kontext = jiná cílová populace •Překlad •Dvojitý zpětný překlad (profi) •Důraz na správnou terminologii •Potřeba validace Modifikace existujících škál •Modifikací se ztrácí přirozeně validita škály (nutnost opakovat) •Problematická komparovatelnost • https://www.statistikaamy.cz/wp-content/uploads/2015/03/Metodika_%C5%A0ustov%C3%A1_1.png Obrázek - https://www.statistikaamy.cz/2015/03/19/jak-se-meri-materialni-deprivace/ Modifikace existujících škál •SFFQ •Cíl analýzy definuje podobu dotazníku •Skupiny potravin/potraviny •Nutrienty •Výživové vzorce •Organizačně-technické možnosti definují rozsah dotazníku •Plnohodnotný SFFQ vs. průvodka •Lokální/regionální potraviny •Grouping potravin • Tvorba vlastní škály •Nikdy není první volba (literární rešerše) • •Problematická komparovatelnost •Volba standardu •Např. škálu otestuji u různých věkových/vzdělanostních kategorií (čtivost) • •Potřeba validace Citlivost škál •Není škála citlivá pouze na jednom ze svých krajů? •Jakou frekvenční škálu použijete pro SFFQ? • figure2 Obrázek 1 - https://link.springer.com/article/10.1007/s10389-020-01444-3/figures/2 Obrázek 2 - https://bmcpublichealth.biomedcentral.com/articles/10.1186/1471-2458-5-135 Obrázek 3 – převzato ze studie CELSPAC: Young Adults Validace v nutriční epidemiologii •Validace dotazníků •FFQ vs záznamové metody (0,4–0,7) •Biochemické markery • •Biomarkery •Energetický příjem a značená voda •Dusík v moči a bílkoviny •Složení tuku ve stravě a v membránách Ery/adipocytů •Lignin a vláknina cereálií, DHBA a DHPPA • •Vždy k cílové populaci! Validita položek •Vysokou validitu mají faktografické položky •Věk, pohlaví • •Položky vyžadující odhad nebývají přesné, je třeba údaje v mysli rekonstruovat •Kolik času věnujete týdně studiu? •Jakým způsobem jste se dozvěděli o nové knize? • •Nižší validitu mají také položky týkající se názorů, postojů, zájmů • Validita položek •Správnost odpovědí respondentů nezáleží jen na znění otázky/položky, ale i na respondentech samotných •Někdo odpovídá pečlivě, pravdivě •Někdo k vyplňování přistupuje volně, přibarvuje si •Záměrné zkreslení (obézní) • •Počítat s povrchním odpovídáním zejména •u neanonymních dotazníků •u anonymních, když respondent považuje dotazník za nedůležitý • Validita položek •Lidi občas lžou, i když nechtějí •Zaměřené na chování, které neodpovídá společenské normě, nicméně se ho lidé dopouští • •Míváte občas myšlenky anebo nápady, o kterých byste si nepřáli, aby je měli jiní lidé? Ano – Ne Doporučení •1. Formulujte jasné otázky/položky • •• Terminologie •• Respondenti budou rozumět stejným způsobem •• Jasná otázka pro autora dotazníku nemusí být jasná pro respondenty • •Jakou podlahovou krytinu používáte? •a)Vinyl, PVC (lino) •b)Přírodní linoleum •c)Přírodní marmoleum •d)Parkety, dřevo korek •e)Dlažba •f)Lamino •g)Koberec • • •Jak často jíte luštěniny? • •Co je košťálová zelenina? • •Jaké druhy vína znáte? • •Kolik šálků kávy vypijete za den? • 1 2 3 4 5 a více • • • Doporučení •2. Příliš široké znění vede k příliš volným odpovědím • •Myslíte si, že konzumace ovoce a zeleniny prospívá? • • •Ovoce nebo zeleniny? Obojího? Čemu prospívá? Planetě nebo mně? • Doporučení •3. Výrazy •Několik, průměrně, obyčejně, někdy • •Respondenti tyto výrazy interpretují různě. Snaha se jim vyhnout. •Kolik hodin průměrně týdně strávíte v práci? •Část respondentů udělá součet hodin za týden. •Část respondentů udělá průměr hodin strávených za týden. • • Doporučení •4. Vyhněte se dvojitým otázkám • •Nutriční terapeutky a terapeuti pracující v nemocnici jsou povinni dodržovat hygienická pravidla daná legislativou a proto nemohou nabízet stravování formou švédských stolů. • Souhlasím – Nesouhlasím • •Respondent může odpovídat pouze na jednu část věty. • Doporučení •5. Tvořte jednoduché otázky • •Otázky mají být lehce pochopitelné, lehce zodpověditelné • •Dlouhým jde hůře rozumět •Znechucují respondenty •Zpomalují vyplňování dotazníku • Doporučení •6. Dávejte jen takové otázky, na které respondenti dovedou odpovědět. • •Zohlednit vzdělání, věk, kognitivní schopnosti, aj. • •Klasický problém je u FFQ: •Jak často jste jedl/a v posledních 3 měsících kedlubny a ředkvičky v porci 50 g? • Doporučení •7. Otázky musí být pro respondenty smysluplné •Když dáte otázky, ke kterým nemají vztah, nebo nevidí vztah k tématu dotazníku, odpoví povrchně. • • •Dotaz na spánek v nutričním dotazníku (rMEQ). •Odborník: Kvalita spánku ovlivňuje složení těla. •Bez vysvětlení respondent nevidí smysl škály rMEQ v nutričním dotazníku. • Doporučení •8. Vyhněte se záporným výrazům • •Často se přehlédnou (VŠ test) •Často se nesprávně interpretují (neporozumění) • Uzeniny nejsou mými oblíbenými potravinami. • Souhlasím – Nesouhlasím • •Pokud je nutné použít záporné slovo, zvýrazněte ho tiskem •Zcela vylučte dvojitý zápor • Nedomnívám se, že jsou nutriční terapeutky/terapeuti nerespektovaní. • Ano – Ne • Doporučení •9. Vyhýbejte se otázkám, které vzbuzují předpojatost • •Týkají se obvykle nějaké osoby nebo instituce • Souhlasíte nebo nesouhlasíte s návrhem vašeho vedoucího? •Ano – ne •Na některé otázky respondent odpovídá tak, jak je to společensky žádoucí, i když je dotazník anonymní. •Zesměšňuje některý kolega své pacienty na oddělení? •Ano – ne •Možné řešení (mimo přeformulování otázky): Přeformulace odpovědí • ano – někdy ano, někdy ne – záleží to na situaci – ne • Check-list •Je tato otázka opravdu nezbytná? •Měří tato otázka opravdu to, co chceme měřit? •Je tato otázka srozumitelná každému? •Je respondent schopný poskytnout odpověď? •Neptá se otázka na dvě různé věci najednou? •Není otázka sugestivní? •Je výčet kategorií na uzavřenou otázku vyčerpávající? •Je opravdu nezbytné použít otevřenou otázku? •Mají odpovědi všech respodnentů stejnou váhu? •Není otázka nepříjemná, znepokojující? • • • • •Děkujeme za pozornost