Konstrukce dotazníku Dotazník lze definovat jako souhrn předem vybraných otázek sloužících pro shromáždění primárních dat. Lze jím s vysokou efektivitou vzhledem k potřebnému času a úsilí tazatele i dotazovaného a za relativně nízkých nákladů získat velké množství dat, která lze kvantifikovat. OBSAH: 1 Příprava obsahu dotazníku 2 Forma dotazování 3 Specifikace cílové skupiny 4Typy otázek 5 Ratingová metoda, škály 6 Konstrukce otázek 7 Vlastní konstrukce dotazníku 8 Pilotáž 9 Validita a reliabilita dotazníku 1 Příprava obsahu dotazníku 1. Definice výzkumného problému 2. Stanovení výzkumných otázek 3. Formulace hypotéz. Hypotéza je tvrzení, vyjádřené oznamovací větou, které lze potvrdit nebo vyvrátit. Významnou funkcí hypotéz je propojení teoretické a empirické složky práce. 4. Operacionalizace hypotéz, tj. smysluplné a efektivní transformování obecných pojmů do podoby empiricky pozorovatelných znaků. Při operacionalizaci používáme dva druhy jazyka. Teoretický jazyk, jehož pojmy jsou přesně definovány. Teoretický jazyk označuje zpravidla jevy, které jsou obecné a komplexní povahy a nejsou proto bezprostředně pozorovatelné (např. školní motivace). Smysluplná a efektivní transformace teoretických proměnných do pozorovatelné podoby je zpravidla realizována jako kontrolovaná redukce obsahu zkoumaného jevu na některé jeho empiricky zjistitelné vlastnosti (tzv. proměnné, znaky - např. obliba, obtížnost, význam, známka z předmětu)), které ovšem musejí pro cíle výzkumu poskytovat informaci o chování celku. Občas nás zajímají takové události nebo jejich vlastnosti, které nejsou empiricky pozorovatelné ani v redukované podobě. Potom používáme indikátory. Indikátor je empiricky pozorovaná vlastnost nebo událost, která vypovídá o chování empiricky nezjistitelné vlastnosti nebo události. Při popisu znaků a indikátorů používáme observační jazyk, který je používáme neoddělitelný od konkrétní situace pozorování. Observačním jazykem mluví také dotazovaní. 5. Studium literatury Přehled existující odborné literatury zabývající se formulovaným problémem, Smyslem této etapy je potvrdit smysluplnost a poznávací prospěšnost našeho výzkumu. 2 Forma dotazování 1. Anonymní - neanonymní 2. Písemné - ústní - telefonické - po internetu Dotazníky pro písemné vyplňování jsou z organizačního hlediska nejjednodušší a také nejlevnější formou komunikace s dotázaným. V případě, že probandi vyplňují dotazníky sami, odpovídají více s rozmyslem, protože čas vyplnění si volí sami, mají méně zábran při zodpovídání citlivých otázek a nejsou tolik ovlivněni způsobem kladení otázek. Touto formou lze zastihnout i respondenta, který není dosažitelný osobní návštěvou a lze snáze provádět opakovaná dotazování. Je zde však klíčová ochota dotazovaného, je snadnější vynechat otázku či neodpovědět vůbec, nechat dotazník vyplnit někomu jinému, vymýšlet si odpovědi. Další nevýhodou je nízká návratnost (vrací se průměrně kolem 30 % rozeslaných nebo rozdaných dotazníků) a s tím spojená velmi obtížná kontrola výběrové procedury. Zpravidla není jasné, kterou část základního souboru získaný výběrový soubor reprezentuje. Je to způsobeno tzv. samovýběrovým efektem, tj. skutečností, že osoba, jíž dotazník patří, není „nucena“ na něj odpovědět, může ho tedy nezodpovědět vůbec nebo ho předat k vyplnění někomu jinému, komu původně určen nebyl. Navíc platí, že na dotazník většinou odpovídají lidé určitého typu. Výše uvedené nevýhody dotazníku lze minimalizovat hlavně tím, že výzkum prezentujeme tak, aby respondenti měli na jeho realizaci přímý zájem. Ústní dotazování má výhodu osobního kontaktu, která dává tazateli možnost reagovat na situaci, vyložit problematická místa a zkontrolovat úplnost vyplnění. Osobní účast tazatele má zpravidla pozitivní vliv i na návratnost dotazníku a často podvědomě vede probandy k větší pravdivosti odpovědí. Je možné zjišťovat i obsahově náročnější informace. Osoba tazatele patří ale i k rizikům postupu, protože může působit na dotazovaného negativně. Ústní dotazování může mít i podobu šetření s tazateli, které je v organizačně, finančně i časově náročnější, protože tazatele je potřeba zaškolit. Telefonické dotazování vyžaduje speciálně proškolené tazatele i techniku (automatické vytáčení „náhodných“ čísel). Vhodné jen pro krátké a rychlé rozhovory, výsledky spíše na úrovni ankety Při elektronickém dotazování existuje možnost použít Word, nástroj vývojář k vytvoření formuláře pro internet 3 Specifikace cílové skupiny Vychází z formulace a operacionalizace hypotéz. Koho se hypotézy týkají? Respondenty je třeba přesně specifikovat věcně, místně i časově. Významným problémem, který je nutno vyřešit při přípravě terénního sběru dat, je volba rozsahu výběrového souboru. Příliš malý výběr nemůže totiž být základem pro zobecnění prováděná s požadovanou přesností, zbytečně velký výběr pak zvyšuje náklady spojené se získáním informací, neúměrně výslednému efektu. Navíc představa, že čím je výběrový soubor větší, tím přesnější výsledky lze získat, je správná jen za určitých podmínek, které se v praxi málokdy podaří splnit. Především by nesměla existovat žádná nevýběrová, systematická chyba, způsobená například nejasným chápáním některých otázek, neochotou určité údaje poskytnout apod. Navíc by návratnost dotazníku nesměla záviset na velikosti výběrového souboru. Velké výběry ale bývají organizačně tak náročné, že s jejich rozsahem velice často návratnost dotazníku klesá. Minimální statistický soubor, se kterým lze při použití kvantitativní metodologie pracovat, by měl mít rozsah alespoň 30 osob v každé ze skupin, které chceme porovnávat. V nouzi se lze spokojit i s menším výzkumným souborem, musíme se však smířit s tím, že vzroste statistická chyba 2. druhu, tj. chyba, že za pomoci statistických procedur neprokážeme rozdíly či souvislosti v datech, které reálně existují. Otázka rozsahu výběrového souboru, která bývá při posouzení jeho kvality často uváděna jako nejdůležitější nebo dokonce jediná, je však méně podstatná než jeho reprezentativita, tj. vlastnost zaručující, že výběr bude dobře obrážet charakteristiky souboru základního. Reprezentativitu výběrového souboru nejlépe zaručuje náhodný výběr, kdy má každý prvek základního souboru stejnou šanci dostat se do výběru. V praxi není postup náhodného výběru vždy proveditelný, a to především z technických důvodů. Ne všichni jedinci jsou stejně dosažitelní nebo je příliš nákladné a často i nemožné shromáždit vybranou skupinu v téže době na témže místě. V takových případech se často používá metoda organizovaného výběru (kvótní výběr). Při použití této metody se předem stanoví, že výběr má vzhledem k jednomu či více znakům vykazovat určité složení úměrné známému rozložení těchto znaků v základním souboru. Za dodržení této podmínky se provádí první výběr, kterým se základní statistický soubor zúží na soubor o přijatelnější velikosti a dosažitelnosti. V rámci tohoto užšího souboru se pak teprve provede výběr náhodný. Pokud jde o výzkumy, které se týkají většího počtu žáků nebo studentů, je z praktických důvodů důsledné uplatnění náhodného nebo organizovaného výběru obtížně realizovatelné. Získání dat o žácích, např. vyplněním dotazníku nebo psychologickým testem, se zpravidla provádí s celou třídou, nikoli s rozptýlenými jednotlivci. Pokud však byly způsobem, o kterém jsme oprávněni tvrdit, že nenarušuje reprezentativnost, vybrány alespoň nadřazené jednotky (školy a třídy), lze tento postup považovat za přípustný. Výběry, které nebyly pořízeny důsledně náhodným způsobem, je možné přezkoušet. Jedna z metod přezkoušení výběru spočívá např. ve stanovení kontrolních znaků, u kterých se následně zkoumá, zda se jejich rozložení ve výběrovém souboru od rozložení v základním souboru statisticky významně liší. Kontrolními znaky mohou být např. při výzkumu žáků povolání otce, příjem rodiny apod. Přitom je třeba dávat pozor, abychom znali rozdělení kontrolního znaku skutečně pro ten základní soubor, který je předmětem našeho výzkumu. Např. příjem otců žáků na druhém stupni ZŠ nemusí být totožný s příjmem všech mužů v ČR. Je se třeba zabývat také otázkou, zda reprezentativita výběru vzhledem ke kontrolním znakům opravdu zaručuje i reprezentativitu vzhledem ke znakům výzkumným. Co se týče velikosti chyb, kterých se můžeme dopustit, provádíme-li na základě výběrových informací úsudky o populaci, tj. odhadujeme-li parametry populačních rozdělení či ověřujeme-li hypotézy o nich vyslovené, platí, že jejich velikost lze určit pouze za předpokladu dodržení náhodnosti výběrové procedury. Není-li proveden náhodný výběr, jsou chyby zpravidla větší. Jednoznačně to platí při velkém rozsahu výběru. Při jeho malém rozsahu však může být výběr provedený metodou organizovaného výběru zatížen menší výběrovou chybou než výběr náhodný. 4 Typy otázek A Otázky uzavřené a otevřené 1. Uzavřené otázky jsou vysloveny tak, aby možnosti odpovědí byly předem dány a bylo možné je standardizovat. Respondent tak vybírá z omezeného počtu variant možných odpovědí. Dotázaný si může vybrat buď jednu z nabídnutých odpovědí (unique choice), nebo i více odpovědí (multichoice). Pozor! Z instrukce k otázce musí být zcela jasné, kolik odpovědí může respondent uvést. Výhodou uzavřené otázky je komunikační jednoduchost a snadné zpracování. Nabídka možných odpovědí respondentům usnadňuje pochopení otázky a pomáhá si rozpomenout na všechny aspekty sledované proměnné. Na druhé straně existuje nebezpečí, že dotázaným do jisté míry vnutíme odpověď, na kterou by sami nepřišli. Pokud se při formulaci nabídnutých odpovědí nepodaří vystihnout, jaké typy názorů mohou existovat, nelze vyloučit zkreslení získaných údajů. Podle počtu variant odpovědí otázky dělíme na dichotomické (alternativní) se dvěma možnými variantami odpovědí (např. ano - ne, vlastním - nevlastním, muž - žena). Obvykle jde o prostou otázku i o snadnou odpověď. Trichotomické otázky se třemi možnými variantami odpovědí nabízejí většinou navíc možnost úniku v podobě odpovědi ,nevím, nejsem rozhodnut. Polytomické otázky umožňují respondentovi výběr z více variant předem stanovených odpovědí. Baterie otázek představují spojení několika dotazů, u nichž mohu nastat stejné varianty odpovědí. Škály slouží k vyjádření postojů a názorů respondenta a umožňují tak převod těchto kvalitativních informací na kvantitativní formu. Škála je forma otázky, kterou žádáme respondenta, aby zařadil zkoumaný problém (např. postoje, názory, spotřební chování) na určitou stupnici. 2. Otevřené otázky umožňují obsáhlejší, nestandardizované odpovědi, které tazatel musí věrně zaznamenat. Umožňují získat nepředpokládanou odpověď a vylučují frustraci, kterou může respondent pociťovat, jestliže má na výběr jen nabízené odpovědi a nemá příležitost volně vyjádřit svůj názor. Hlavní nevýhodou otevřených otázek je pracné zpracování získaných údajů a problémy při interpretaci odpovědí respondenta. Je přitom třeba myslet na to, že zřetelnost a hloubka odpovědí závisí na respondentových schopnostech vyjadřovat se. Samostatné formulování odpovědí není pro každého jednoduché. 3. Polouzavřené otázky jsou kompromisem Podle způsobu, jak otázky pokládáme, je dělíme na B Otázky přímé a nepřímé. Ne vždy je vhodné položit otázku přímo. Proto můžeme využít otázky situační, kdy respondent vyjadřuje svůj postoj k dané situaci, která může bát popsána slovně nebo obrázkem. C Podle funkce otázky dělíme na výzkumné a pomocné. Pomocné otázky mohou být několika typů: • Kontaktní - slouží k vytvoření kontaktu mezi dotazovaným a tazatelem. • • • • Nárazníkové - k odstranění únavy respondenta, bránící stereotypu. Filtrační – umožňují v průběhu dotazování respondenty třídit. Kontrolní - pro kontrolu správné formulace otázky a pravdivost výpovědi. Identifikační - zaměřují se na zjištění charakteristik respondenta 5 Ratingová metoda, škály Ratingová metoda se používá ke zjišťování obecných pojmů pomocí sady empiricky pozorovatelných znaků. Provádí se podle předem stanovených pravidel, tzv. škál. Škálováním rozumíme užívání různých technik, kterými přiřazujeme číselné hodnoty takovým jevům, které nejsou metrické, např. posouzení výkonové motivace žáků. Číselný údaj na škále je vždy doplněn slovním popisem. Mezi nejčastější techniky škálování patří: Likertova škála od respondenta požaduje, aby vyjádřil stupeň souhlasu či nesouhlasu s různými výroky, které se týkají určitého postoje k objektu. Numerická posuzovací škála Jak hodnotíte nabídku programů pro volný čas velmi dobře 1 spíše dobře 2 spíše špatně 3 velmi špatně 4 neumím posoudit 5 Grafická posuzovací škála Má podobu úsečky s vyznačeným hodnocením Atmosféra ve třídě byla velmi vstřícná odmítavá Kumulativní posuzovací škála Skládá se z více položek, jejichž posuzování se sčítá Např. posouzení volné jízdy v krasobruslení by s mohlo provádět následovně: Kritérium Bruslařské dovednosti Skoky Provedení Choreografie Interpretace 5 5 5 5 5 4 4 4 4 4 Body 3 3 3 3 3 2 2 2 2 2 1 1 1 1 1 Celková úroveň 4+3+2+5+3 = 17 Škála pořadí (stupňové řazení) – respondent řadí soubor vyjmenovaných subjektů podle preferenčního pořadí. Škála párové komparace – ze souboru předmětů jsou respondentovi předkládány vždy pouze dva, přičemž má vybrat ten, který preferuje. Preferenční pořadí se pak stanoví podle toho, kolikrát je určitý objekt preferován před jiným Škála konstantní sumy – respondent rozděluje fixní sumu bodů, procent nebo peněz (obvykle 100) mezi několik objektů a tím vyjadřuje relativní preferenci každého z nich Standardní posuzovací škála, kde je základem určitý vzor (standard), který je používán pro srovnání. Tak například pro hodnocení určitých vlastností se používají jako standardy konkrétní osoby, jejichž posuzovaná vlastnost je posuzovatelům obecně známa (např. píle, pracovitost, smysl pro povinnost, schopnost řídit jiné) a s nimi jsou srovnávány posuzované osoby. Pokud nechceme pracovat s konkrétními lidmi, můžeme si vytvořit imaginární portrét, podle kterého budeme srovnávat. Sémantický diferenciál – respondent vyjadřuje svůj postoj k předmětu výzkumu na určitém počtu (obvykle 10-25) pětistupňových nebo sedmistupňových bipolárních škál, které jsou na pólech ohraničeny antonymy, jež vyjadřují opačné hodnocení (např. malý – velký, silný – slabý, hořký – sladký) 6 Konstrukce otázek Pravidla pro formulování otázek Otázka by měla být formulována neutrálně, aby z ní nebylo možné odvodit pozici tazatele. Žádná alternativa odpovědi by se neměla zjevně nabízet, ani být na první pohled nepřijatelná. Otázky v dotazníku musí být formulovány s ohledem na cílovou skupinu. Je třeba brát ohled na věk, sociokulturní prostředí, vzdělání a další specifika respondentů. Je třeba si uvědomit, že formulace otázky může mít zásadní vliv na odpověď respondentů. Příklad: Dejme tomu, že existuje nemoc, při které se spontánně uzdraví 20% osob, 50% přežije s trvalými následky a 30% umírá. Byl objeven lék, po jehož podání se uzdraví 40% osob, ostatní umírají. Chcete se léčit, pokud léčba zdvojnásobí Vaše šance na vyléčení? Chcete se léčit, když při léčbě existuje dvakrát větší pravděpodobnost, že zemřete? Otázky musejí být jasné a srozumitelné všem respondentům. Proto používáme • • • • • • • • • • jednoduchý jazyk, známý slovník, co nejvíce specifické formulace dotazů. víceznačná slova, záporné otázky, sugestivní otázky, zavádějící otázky, nepříjemné otázky, tabu, dotazy na skutečnosti, které nejsou prožité a nejsou proto uvědomovány, otázky tázající se na dvě nebo více různých věcí současně, sugestivní a zavádějící otázky, které již navrhují odpověď. Musíme vyloučit • 7 Vlastní konstrukce dotazníku Postup Poznámka: Body 2 až 5 lze uvést ústně nebo v průvodním dopise. • • • • • • • • • Hlavička: Název dotazníku, jméno a příjmení dotazovaného (pokud není dotazník anonymní), další potřebné údaje (např. třídu, školní rok, datum vyplnění) Oslovení, údaje o osobě, organizaci, která výzkum provádí (oficiální název organizace, adresa, kontakty Motivace - k čemu bude dotazník sloužit, co přinese, případná odměna, - uvést www stránku, kde budou zveřejněny výsledky, případně respondent může uvést svůj email, kam mu budou výsledky zaslány ) vysvětluje způsob výběru respondentů (zdůraznit, že respondent byl vybrán vědeckým způsobem, má důležitou roli jako reprezentant mnoha lidí, nelze jej nahradit) Instrukce jak dotazník vyplňovat, popřípadě vysvětlení některých pojmů, sdělení, kolik času vyplnění zabere, případně jak bude zajištěna anonymita a jak bude zabráněno zneužití dotazníku Úvodní otázky pro navázání kontaktu, vzbuzení důvěry, zájmu. Mají být snadné a zajímavé Otázky zaměřené na vlastní výzkum Identifikační otázky Poděkování Do dotazníku lze zařadit podle potřeby také filtrační a kontrolní otázky. Každý dotazník má svou logickou strukturu, dynamiku, která pomáhá udržet zájem respondenta, a určitou omezenou délku. Při konstrukci dotazníku musíme brát v úvahu význam funkce jednotlivých otázek v dotazníku, míru strukturovanosti dotazníku. Otázky by měly být v dotazníku uspořádány v určité sekvenci tak, aby z hlediska respondenta tvořily určitý logický celek, který podporuje plynulost rozhovoru. Při řazení otázek v dotazníku je třeba počítat s tím, že otázky se při dotazování neuplatňují izolovaně, ale ve vzájemném kontextu, což znamená, že každá otázka ovlivňuje odpověď i na otázky následující. V řazení otázek je proto třeba postupovat tak, aby otázky, které mohou ovlivnit odpovědi na jiné otázky, těmto otázkám nepředcházely. Někdy je naopak možné položit otázku tak, aby usnadnila lépe pochopit smysl následujících otázek nebo aby ulehčila rozpomínání. Pozor na přiměřený rozsah dotazníku, doporučuje se, aby jeho vyplnění nezabralo víc než 40 45 minut. Pak už nastupuje únava a klesá zájem a tím i kvalita vyplňování. To se ovšem týká zdravých dospělých osob, pro děti a hendikepované osoby by dotazník měl být kratší. Formální úprava dotazníku • • • • Dotazník by měl být vzhledově atraktivní, s přehledným uspořádáním otázek. Prostor pro záznam odpovědí na otevřené otázky by měl odpovídat tomu, nakolik obšírnou odpověď bychom rádi obdrželi. Je vhodné odlišit typem písma text otázek od textu, který obsahuje instrukce k otázkám. 8 Pilotáž Pilotáž je předběžné ověření dotazníku v praxi, jehož smyslem je najít nedostatky dotazníku, které by negativně ovlivnily získané údaje. Při pilotáži se testuje srozumitelnost a jednoznačnost dotazníku na malém vzorku respondentů. Během pilotáže dotazníku je nezbytné věnovat pozornost • • • • • • • • • • • • formální stránce dotazníku, jeho prostorovému rozvržení, délce dotazníku, zejména tomu, zda dotazník nebyl pro sledovanou populaci příliš dlouhý, sekvenci otázek, tomu, zda by nebylo vhodné pořadí otázek změnit, formátu otázek, přiměřenosti prostoru pro odpovědi na otevřené otázky, formulaci i obsahu jednotlivých otázek, kategoriím odpovědí. Je tato otázka nezbytná, souvisí s cílem výzkumu? Není jen okrajová? Nelze odpověď získat z jiného zdroje? Do výzkumu nelze zařazovat otázky jen proto, že jsou zajímavé. Ptá se otázka skutečně na to, na co chceme, aby se ptala? Je otázka formulována krátce, jasně a srozumitelně, přiměřeně intelektuálním a jazykovým možnostem respondenta? Není dvojsmyslná (např. dva zápory, negativní formulace). Chápou ji všichni stejně? Neptá se otázka současně na více věcí? Nepředpokládá otázka příliš velké znalosti od nějaké části respondentů? Nemají někteří jedinci lepší informace než jiní? Nevyžaduje zodpovězení otázky příliš velké úsilí? Není otázka příliš obecná, nevyžaduje další specifikaci (např. vymezení času a místa)? Nepředjímá otázka určitou odpověď? Není navádějící, sugestivní, emocionálně zabarvená? Nenutí k určité odpovědi tím, že nenabízí všechny možné alternativy? Neptá se otázka hypoteticky či na budoucí úmysly? Nevychází z falešných předpokladů? Není numerická proměnná příliš hrubě kategorizována? Neztratil se smysl otázky přenosem z jiného jazykového či kulturního prostředí? Je použití otevřené otázky opravdu nutné? Jsou jasně rozlišeny výčtové otázky, které připouštějí více odpovědí, od otázek výběrových, které požadují jedinou volbu? Není otázka citlivá, resp. pro respondenta nepříjemná či iritující? Nemůže se respondent domnívat, že přiznáním pravdivé odpovědi by mohl být ohrožen? Nejedná se o otázku, na kterou lze očekávat jen velmi nespolehlivé odpovědi? (např. problém, k němuž se postoje, a tedy i odpovědi, velmi rychle mění) Pokrývají a vyčerpávají všechny možnosti? Vylučují se vzájemně? Jsou přiměřeně podrobné? Není jich příliš mnoho? Nejsou být příliš široké? Jsou rovnoměrně vyvážené vzhledem k nabídce možných odpovědí? Neodpovídá na tuto otázku většina dotazovaných stejně? Prověření otázek dotazníku • • • • • • • • • Prověření kategorií odpovědí • • • • • • Data z pilotáže zpracujeme. Zkušenosti se zpracováním a analýzou dat využijeme pro poslední úpravy celkového plánu výzkumu. Po pilotáži se provedou potřebné úpravy a připraví se konečný koncept dotazníku, který bude použit při výzkumu. 9 Validita a reliabilita dotazníku Nejobecnější definice validity dotazníku je ve stručnosti obsažena v otázce: Zjišťuje dotazník skutečně to, co se domníváme, že zjišťuje? Nejlepším českým ekvivalentem pro validitu je slovo platnost. Validita dotazníku spočívá v tom, nakolik jsou otázky dotazníku reprezentativní vzhledem k obsahu, který se má zkoumat. Zjišťování reprezentativnosti otázek dotazníku přitom záleží na úsudku autorů dotazníku. Neexistuje však exaktní metoda, jak ji zjišťovat. Proto je žádoucí, aby byla obsahová validita ověřována dalšími kompetentními posuzovateli. K tomu je nezbytné, aby byl obsah testu přesně specifikován a aby byla stanovena metoda, jak sjednotit nezávislé posudky odborníků, budou-li se rozcházet. Reliabilita znamená spolehlivost a přesnost, se kterou dotazník zjišťuje to, co má zjistit. Lze ji tedy definovat také jako nezávislost dotazování na náhodných chybách. Určuje, nakolik je dotazování opakovatelné, zda dotazník poskytuje stejné výsledky nezávisle na osobách, které ho zadávají. Na rozdíl od validity je reliabilita vnitřní záležitostí používaného dotazníku, nevztahuje se tedy ke sledovanému obsahu. Stejně jako validita se však vztahuje ke zkoumané populaci. Závisí také na zadavatelích, na charakteristikách dotazníku, především na metodě jeho přípravy, způsobu strukturování položek, na správnosti a úplnosti pokynů. Reliabilitu dotazníku zkoumáme zcela nezávisle na jeho validitě, jinými slovy řečeno, odhlížíme od smyslu a podstaty zkoumání. Reliabilita výzkumného nástroje nedává žádnou záruku jeho validity, na druhou stranu však platí, že není-li výzkumný nástroj reliabilní, nemůže být ani validní. Zkoumání reliability lze provádět pomocí celé řady matematicko-statistických metod založených na faktu, že každé měření se skládá z pravé a chybové komponenty. Teoreticky lze reliabilitu vyjádřit jako podíl pravého a celkového (skládajícího se z pravého a chybového) rozptylu výsledků testu. V praxi bývá výše uvedený teoretický model různě modifikován a pro výpočet reliability existuje řada matematických metod. Pro sledování reliability dotazníku lze ale využít pouze omezený počet metod. Jsou to především metoda opakovaného měření a metoda půlení. U obou metod je stupeň reliability dán mírou shody mezi výsledky dvou dotazníkových šetření. Metoda opakovaného měření může být použita tam, kde lze dotazování u stejného souboru opakovat za stejných podmínek. V tomto případě záleží na tom, aby doba pro opakované šetření byla stanovena optimálně. Jeli příliš krátká, hrozí nebezpečí zapamatování, je-li příliš dlouhá, může dojít ke změnám nejen v předmětu výzkumu, ale i na straně respondentů. Proto je vhodnější dotazník zadat dvěma reprezentativním výběrům z téhož základního souboru, což se v praxi nejčastěji realizuje tak, že je výběrový soubor náhodně rozdělen na dva stejně velké podsoubory. U této tzv. metody štěpení výsledky dotazníkového šetření vyhodnotíme samostatně v obou podsouborech a poté se výsledky vzájemně porovnají. Pokud lze otázky dotazníku hodnotit na škále, lze koeficient reliability určit jako korelační koeficient mezi dvěma výsledky dotazníkového šetření. Pro vyhodnocení reliability kvalitativních otázek se používá Cohenův koeficient kappa. Výpočet hodnoty kappa je založen na kontingenční tabulce, ve které jsou třídícími znaky odpovědi respondentů v prvním a druhém dotazníkovém šetření. Výpočet koeficientu kappa je založen na míře celkové a očekávané shody. Koeficient kappa vyjadřuje poměr mezi skutečnou shodou (danou součtem četností na diagonále kontingenční tabulky), od které jsme odečetli faktor náhodné shody a perfektní shodou, která se rovná součtu všech četností v kontingenční tabulce, sníženou opět o faktor náhodné shody. Faktor náhodné shody je přitom podobně jako v testu nezávislosti u očekávaných četností odvozen od marginálních četností. Je roven součtu součinů sobě příslušných (prvnímu řádku přísluší prvním sloupec, druhému druhý, atd.) marginálních četností. Na závěr Pamatujme na to, že výsledky výzkumu mohou negativně ovlivnit: • • • • Špatně formulovaná hypotéza. Chybně zvolená populace, způsob či čas zjišťování. Nereprezentativní výběr, nedostatečné zahrnutí specifických skupin (např. sociálně slabých). Nízká návratnost dotazníku ve spojení s tím, že existují rozdíly mezi skupinou těch, co odpověděli a těch, kteří neodpověděli. Návratnost dotazníku lze zvýšit tím, že se vyhneme zbytečně dlouhým dotazníkům, nesrozumitelným a neobratně formulovaným otázkám. Návratnost lze zvýšit i dobře formulovaným průvodním dopisem, který respondenty zbaví obav a motivuje je k vyplnění dotazníku, popř. i upomínacím dopisem s ručně psanou poznámkou. Vzhled, chování, příp. postoje osoby, která dotazník zadává. •