Z práce HENDL J. Úvod do kvalitativního výzkumu. Praha: Karolinum, 1997

Kritéria pro hodnocení kvantitativních a kvalitativních výzkumných prací

Zpracováno podle WWW dokumentu:

DUCHARME, M.K., LICKLIDER B.L., MATTHES, W.A., VANNATTA, R.A.:

Conceptual and analysis criteria: A process for identifying quality educational research

(http://www.iptv.org/FINELINK/publications/coutline.html)

Hodnocení kvantitativní studie - kriteriální otázky

I. Úvod do problému

1. Je problém jasně určen a lze ho zkoumat?

- Jsou jasně určeny důvody pro řešení problému?

- Byly uvedeny všechny informace související s problémem a podporující potřebu studie?

Poznámka: Jde o informace jako historie a současný význam problému.

2. Byl proveden důkladný přehled literatury, který umožní vybrat odpovídající procedury a provést diskusi?

- Jsou citované citace relevantní pro daný problém, jsou aktuální?

- Jsou hlavní prameny primárního charakteru?

- Jsou porovnány výsledky citovaných prací?

- Má přehled vztah k problému?

3. Jsou uvedeny hypotézy/výzkumné otázky jasně a explicitně?

- uvádí každá hypotéza nebo otázka do vztahu vztah nebo rozdíl dvou proměnných?

- Jsou proměnné jasně definovány

- Jsou uvedeny logické, dokumentované a nestranné důvody pro každou hypotézu nebo vědeckou otázku?

II. Výzkumné procedury

1. Je proveden výběr reprezentativní identifikovatelné nebo lokální populace?

- jsou popsány charakteristiky výběru a populace?

Poznámka: je nutné uvést demografické charakteristiky jako pohlaví, věk, atd.?

- Nezpůsobila výběrová procedura systematickou chybu?

Poznámka: Náhodně provedené výběry jsou obvykle reprezentativní. Používání dobrovolníků často nepředstavuje náhodný výběr.

- Byly účastníci pokusu nebo šetření seznámeni se svými právy?

- Udal se přesný počet jedinců, kteří se zúčastnili nebo odmítli se zúčastnit šetření?

- Je výběr dostatečně rozsáhlý?

Poznámka: Čím větší je výběr tím je více reprezentativní celé populace. Doporučují se tyto počty. Pro deskriptivní studii 10% celé populace, pro korelační studii 30 subjektů, pro příčinně-komparativní 30 subjektů v jedné skupině a pro experimentální studii 15 jedinců ve skupině. Obecně platí: Počet výsledků závisí na velikosti hledané diference, rozptýlenosti výsledků, hodnověrnosti s jakou chceme provést závěry, na počtu proměnných, počtu skupin i použité statistické proceduře.

2. Jsou výběrové procedury a zdroje vhodné, validní a spolehlivé?

- Jsou popsány měřící procedury a zdroje?

- Je udán důvod pro přijetí procedury?

- Přezkoušely se měřící procedury pomocí pilotní studie?

- Jsou dohodnuty míry validity a spolehlivosti?

Poznámka: Validita je stupněm, jak měří daný test sledovanou veličinu. Spolehlivost je míra udávající, jak souhlasí opakované provedení testu.

3. Jsou navržený plán výzkumu a všechny procedury vhodné a opakovatelné?

- Je výzkumný plán vhodný pro zkoumání dané hypotézy?

- Jsou procedury dostatečně popsány, aby je mohl zopakovat jiný výzkumník?

- Eliminuje výzkumný plán všechny rušivé proměnné?

Poznámka: Rušivá proměnná je taková, která zkresluje vztah mezi sledovanými veličinami.

III. Diskuse

1. Jsou výsledky vhodné a jasné?

- Jsou použité statistické techniky vhodné pro danou hypotézu a výzkumný plán?

- Prezentovaly se výsledky korektně a jasně v textu, tabulkách a grafech?

- Uvedly se hladiny významnosti a stupně volnosti?

- Jsou prodiskutovány všechny uvedené tabulky a grafy?

- Testovaly se všechny hypotézy?

2. Podporují výsledky analýzy dat závěry studie?

- Byly jednotlivé hypotézy na základě výsledků potvrzeny nebo vyvráceny?

- Jsou závěry podloženy výsledky?

- Diskutují se výsledky vzhledem k ostatním studiím a teoriím?

- Diskutují se možná omezení provedené studie?

3. Uvedla se doporučení pro budoucí akce?

- Diskutovaly se možné implikace pro praxi?

- Diskutovala se doporučení pro budoucí výzkum?

- Vyhnul se autor přehánění významnosti výsledků, které jsou sice statisticky významné ale prakticky nevýznamné?

IV. Kritéria pro specifické techniky

1. Dotazníkové šetření

- Byly popsány pilotážní procedury?

- Je návod k dotazníku jasný a konzistentní?

- Využívá se vhodný formát?

- Mají otázky vztah k cílům studie?

- Jsou otázky metodologicky správně formulovány?

2. Korelační studie

- Jsou uvedeny důvody pro každou sledovanou proměnnou?

- Diskutuje autor výsledky a závěry v pojmech závislosti a ne v pojmech příčinnosti?

- U predikčních studií: je kriteriální veličina dobře definována? Byla predikční rovnice validována na nezávislé výběrové skupině?

3. Příčinně-komparativní studie

Poznámka: Tento typ studie je podobný korelační studii, ale jeho cílem je zjištění a ověření příčinných závislostí.

- Definovaly se jasně charakteristiky, které jsou závislé a nezávislé?

- Určily se důležité rušivé a externální veličiny? Jsou zohledněny v plánu výzkumu?

- Diskutují se příčinné vztahy s odpovídající opatrností?

- Diskutují se také alternativní hypotézy?

4. Experimentální studie

- Jsou uvedeny definice skupin?

- Vybraly se prvky skupin náhodně?

- Identifikovaly se možné rušivé proměnné?

- Provedla se kontrola, zda jsou skupiny podobné vzhledem k rozložení rušivých proměnných?

- Zkoumá se reaktivní efekt v jednotlivých skupinách?

5. Quasi-experimentální studie

Poznámka: Studie podobná experimentální, ale prvky nejsou náhodně zařazeny do skupin a k ovlivňujícím proměnným?

- Jsou skupiny porovnány, aby se zaručilo, že jsou podobné?

- Uvažují se rušivé proměnné?

- Jsou diskutovány příčinné vztahy s patřičnou opatrností?

Hodnocení kvalitativní studie - kriteriální otázky

I. Úvod do problému

1. Je problém jasně určen a lze ho zkoumat?

- Jsou jasně určeny důvody pro řešení problému?

- Byly uvedeny všechny informace související s problémem a podporující potřebu studie?

2. Byl proveden důkladný přehled literatury, který umožní vybrat odpovídající procedury a provést diskusi?

- Jsou citované citace relevantní pro daný problém, jsou aktuální?

- Jsou hlavní prameny primárního charakteru?

- Jsou výsledky uvedených studiích srovnány a kontrastovány nebo jde pouze o prostý výčet výsledků?

- Uvádí přehled literatury uvedené výsledky do vztahu k problému?

3. Je výzkumný problém jasně určen?

- Je definice problému nebo otázky dána do určitého kontextu?

- Je výzkumný problém dostatečně otevřený, aby vedl k exploraci tématu spíše než k testování hypotéz?

II. Výzkumné procedury

1. Vedou výběrové procedury k identifikaci participantů a zdrojů důležitých pro problém?

- Jsou popsány charakteristiky participantů a místa výzkumu?

- Použil se zaměřený a nenáhodný výběr?

2. Jsou techniky pro sběr dat a zdroje dat oprávněné a důvěryhodné?

- Použilo se několik technik pro sběr dat?

- Popsala se každá technika, zdroje dat a prostředky?

- Provedlo se zdůvodnění technik, zdrojů dat a prostředků?

- Provedlo se pilotní přezkoušení všech technik?

- Popisují se techniky pro zajištění kontroly kvality studie?

- Popsaly se dostatečně techniky analýzy?

3. Jsou výzkumný plán a procedury vhodné pro zkoumání výzkumné otázky?

- Popsala se všechna rozhodnutí týkající se výzkumného plánu a zhodnotila se jejich

oprávněnost?

III. Diskuse

1. Jsou výsledky náležité a jasné?

- Provedl se bohatý popis pozorování a odpovědí?

- Zdůvodňují získaná data prezentovaná témata, zobecnění a tvrzení?

2. Podporují výsledky analýzy dat závěry studie?

- Použilo se několik zdrojů evidence použité pro podporu závěrů?

- Uvedla se rozumná vysvětlení uvedených nálezů?

- Jsou závěry podporovány výsledky?

- Provedla se diskuse o souhlasu či nesouhlasu výsledků s dřívějšími studiemi?

- Diskutovala se omezení studie?

3. Uvedla se doporučení pro další výzkum?

- Diskutovaly se důsledky pro praxi?

- Vyhnul se autor přehnaným zobecněním, která by šla za rámec studie?

IV. Kritéria pro specifické techniky

1. Případová studie

- Uvedly se důvody pro výběr případu?

- Vyplývají použité zdroje dat logicky a přirozeně z případu?

- Zvolily se vhodné strategie pro získání mnohonásobné perspektivy (triangulace)?

2. Interview

- Provedlo se pilotní přezkoušení techniky? Popsaly se výsledky pilotního přezkoušení?

- Diskutují se kvalifikace a školení výzkumníků?

- Vyhýbají se tazatelé sugestivním otázkám?

- Popisuje se způsob nahrávání rozhovoru?

- Diskutuje se metoda analýzy dat?

3. Pozorování

- Popisuje se chování, které se mělo pozorovat?

- Pozorovaly se všechny akce a chování v místě studie?

- Pozorovalo se dostatečnou dobu?

- Diskutují se kvalifikace a školení výzkumníků?

- Popisuje se způsob zápisu a uchování dat?

Hodnocení etnografické studie - základní požadavky

Zpracováno podle:

Muecke, M.A.: On the evaluation of ethnographies

In: Crititical issues in qualitative research methods

eds. Morse J.M., Sage 1994

1. Etnografie demystifikuje zkoumané lidi tím, že jejich chování dělá srozumitelné čtenáři. Etnografie:

- Demystifikuje a vysvětluje, neomezuje se na popis.

- Interpretuje sociální podskupinu pro členy zahrnující sociální skupiny nebo jiné sociální skupiny.

- Zvyšuje porozumění humanity všech lidí.

2. Popisovaní lidé obecně musí uznat, že provedený popis je relevantní.

3. Konceptuální orientace etnografa je explicitně vyložena a koherentně spojena se studií a s daty.

4. Je explicitně zhodnocen vliv vztahu mezi etnografem a zkoumanou skupinou.

- Chrání se anonymita členů skupiny.

- Čtenáři musí být jasné použité informační zdroje, aby mohl posoudit jejich vhodnost a šíři.

- Transkripce shromážděných dat musí být provedena pečlivě, aby se zachovaly všechny jejich významy.

5. Hloubka studie se dosahuje hustým popisem (thick description), který označuje analytické zkoumání, srovnávání a kontrastování různých perspektiv (emic, etic) a zdrojů informací. Testují se v ní vazby a inference, aby se vytvořila koherentní interpretace pro porozumění rozdílností.

- Informace se získaly průběžným participantním pozorováním.

- Informace se získaly z různých zdrojů.

- Informace se shromažďovaly kumulativně a cyklicky, každý cyklus zahrnoval komparativní analýzu ostatních informací, která vede k reformulacím otázek a hypotéz.

6. Etnografické vyprávění musí připustit omezenost rétorických možností jak autora tak informantů a konvenční formy etnografické zprávy.

Tyto požadavky se týkají standardní dlouhodobé etnografické práce. Autorka zavádí pojem fokusované etnografie, jejíž zaměření je omezené na menší skupinu, určitý problém (fenomén) a nepředpokládá delší pobyt v terénu. Proto se zmírňuje striktnost kritérií 4c a 5a,b,c. Přitom je nutné zodpovědět otázky:

1. Neohrožuje předvýběr problému nebo fenoménu induktivní podstatu etnografické práce? Lze problém dostatečně kontextualizovat?

2. Neohrožuje krátký pobyt spolupráci mezi informanty a výzkumníky?

3. Jak krátké trvání studie ovlivňuje analýzu dat a interpretaci?

4. Prokazuje etnograf dostatečný stupeň proniknutí do prostředí a participaci, aby mohl vypracovat hustý popis?