STUDIE Pedagogická orientace, 2013, roč. 23, č. 4, s. 455-477 455 K metodologickým standardům kvantitativních studií v pedagogice: Jak psát o výzkumných zjištěních?1 Jan Mareša, Kateřina Vlčkováb aMasarykova univerzita, Pedagogická fakulta, Katedra psychologie b Masarykova univerzita, Pedagogická fakulta, Katedra pedagogiky Redakci zasláno 2.7.2013 / upravená verze obdržena 28.8.2013 / k uveřejnění přijato 6.9.2013 Abstrakt: Cílem studie je přispět do debaty ohledně metodologické kvality a standardů kvantitativního výzkumu a prezentace a publikace jeho zjištění. Ve studii nejprve diskutujeme o tom, proč vlastně publikovat výsledky výzkumu, a následně pojednáváme, jak o výzkumu a jeho výsledcích psát. Teoretickým východiskem jsou zahraniční publikační standardy (např. APA, AERA) a metodologická literatura. V druhé části studie na základě analýzy obsahových požadavků českých recenzovaných časopisů a významných konferencí k pedagogickému výzkumu se věnujeme tomu, co je explicitně požadováno a co by bylo vhodné v současnosti v českém prostředí požadovat od výzkumů a empirických studií v pedagogice, a to i v kontextu mezinárodních úzů či standardů. Z analýzy vyplynulo, že časopisy a konferenční výbory metodologické požadavky či standard podrobněji nespecifikují a předpokládají jeho implicitní sdílení. Klíčová slova: kvantitativní pedagogický výzkum, publikační metodologický standard, empirické studie, styl APA, české pedagogické časopisy Kvalita či standard prezentování a publikování výsledků kvantitativního výzkumu je jedním ze stále aktuálních témat (nejen české] pedagogiky. Úzce souvisí s obecnou diskusí ohledně metodologického standardu vědní disciplíny. Cílem studie je přispět do debaty ohledně metodologické kvality a standardů kvantitativního výzkumu a prezentace a publikace jeho zjištění (srov. např. Šanderová, 2005; Mešek et al., 2006]. Diskuse týkající se metodologických pravidel dle našeho názoru logicky nemůže vyústit do neměnných standardů2, protože naše poznání v dané oblasti se neustále vyvíjí a mění. 1 Studie vznikla v rámci projektu Moc ve školních třídách studentů učitelství (GA13-24456S) financovaném Grantovou agenturou České republiky. Autoři děkují za podporu. 2 Podobně například norma APA prochází již sedmou revizí. DOI: 10.5817/PedOr2013-4-455 456 Jan Mareš, Kateřina Vlčková Při uvažování o obsahu této studie jsme se snažili reflektovat původně spíše intuitivně chápané rozdíly mezi obvyklými charakteristikami odborných textů tak, jak jsou obvykle vymezovány v odborné literatuře a našimi zkušenostmi v praxi výzkumníků i redaktorů a recenzentů různých typů periodických i účelových publikací. To přináší z autorského pohledu několik úskalí. Jedná se například o snahu pojednat komplexní problematiku nikoli v obvyklém rozsahu metodologické monografie, ale rozsahem limitované časopisecké studie. Riziko také může představovat sklouznutí k mentorování nebo snaha vytvořit zkrácenou verzi publikačního manuálu APA3 [2009]. Podobně je podle našeho názoru důležité také reflektovat, že empirická tradice jednotlivých pracovišť [nejen] v českém prostředí je různá. Prezentace empirických výsledků mají i různý účel - od diplomových prací přes výzkumné zprávy a empiricky orientované články k odborným monografiím. Různá je i míra autorské zkušenosti - autoři prezentující výsledky empirických šetření zastávají různé pozice od začínajících autorů bakalářských prací po zkušené výzkumníky interdisciplinárních týmů velkých mezinárodně srovnávacích studií typu TIMSS nebo PISA. V tomto smyslu je těžké psát o metodologickém standardu obecně, podobně jako o rámci empirické časopisecké kvantitativní studie. Dá se tedy předpokládat, že naše studie bude pravděpodobně různě přínosná pro různé čtenáře. Ve studii se dále věnujeme prezentaci výsledků kvantitativních výzkumných šetření. Vycházíme z běžně dostupných pokynů pro autory tak, jak byly v době přípravy studie k dispozici: v podobě [a] pokynů pro autory studií pro české pedagogické časopisy a (b] pokynů pro autory příspěvků do sborníků vybraných českých konferencí. 1 Proč uvažovat o prezentaci výsledků (kvantitativní) empirické studie? Hlavním cílem výzkumné aktivity je rozšířit znalostní bázi oboru, vlastní výzkum tedy končí teprve publikací výsledků. Nejedná se o samoúčelnou a kargokultickou aktivitu (Novotný, 2000], ale o způsob odborné komunikace. Z hlediska formálních aspektů této komunikace musí být jasná návaznost prezentovaných výsledků na předchozí teorii i výzkum, které se formálně projevují v podobě citací (odkazy na další zdroje informací]. Publikace výsledků by měla být zodpovědná, stručná a měla by prezentovat teoretické poznatky a vlastní výsledky, nikoli autory. 3 APA - American Psychological Association. K metodologickým standardům kvantitativních studií v pedagogice: 457 Hiles [2001] uvádí 8 „faktů" o výzkumu, které lze považovat za obecně platné [jakkoli on sám je kvalitativně orientován]: • Výzkum je zkoumání, které vede k novým poznatkům. • Výzkumná otázka a poznatky musí být diskutovány v kontextu před chozích znalostí. • Každý výzkum spočívá na nějakých předpokladech - různí badatelé nevyhnutelně pracují s různými paradigmaty. • Ve výzkumu děláme teoretická a praktická rozhodnutí, přičemž se držíme etických principů. • Postupy ve výzkumu by měly být systematické, přísné a musí být natolik jasné, aby se daly replikovat. • Výzkumná zjištění by měla být jasná a přesvědčivá pro druhé. • Výzkum jen zřídka úplně zodpoví výzkumnou otázku; obvykle vede spíše k nápadům na další zkoumání. • Do výzkumu se pouštíme, protože máme zájem a chceme něco změnit -publikace a sdílení s kolegy je přirozenou součástí výzkumného procesu. Tato jednoduchá pravidla z hlediska chronologie stojí daleko před vlastním výzkumem i prezentací jeho výsledků. Je dobré si je opakovaně připomínat, abychom udrželi adekvátní zaměření svého výzkumu. Odborná komunikace je do jisté míry formální aktivitou, která od účastníků vyžaduje určité kompetence. Primárně mezi adresáty patří badatelé, kolegové z praxe a financující instituce. Pro každou z těchto cílových skupin mohou mít výstupy specifickou podobu. Pro kolegy badatele je určen empirický článek, poster, odborná přednáška či monografie; kolegové praktici patrně spíše uvítají popularizační sdělení a pro financující instituce je primárně určena výzkumná zpráva. U dalších možných skupin adresátů může být srozumitelnost výsledků diskutabilní, a proto je nutné empirické výsledky představovat specifickým způsobem, který jde však mimo rámec naší studie; ať už se jedná o veřejnost s nutností popularizace, nebo o studenty oboru, kdy může být rozvoj schopnosti porozumět výsledkům empirického výzkumu v podobě primárních zdrojů [výzkumné zprávy, časopisecké studie či primární data] součástí jejich pro- 458 Jan Mareš, Kateřina Vlčková fesní přípravy, a naopak dovednost realizovat výzkumné šetření a prezentovat jeho výsledky v podobě kvalifikační práce jednou z cílových kompetencí v průběhu pregraduálního studia. Empirická studie je v této perspektivě základním stavebním kamenem znalostní báze oboru. Jejím hlavním cílem je prezentovat konkrétní empirická zjištění. Na obsah empirické studie jsou kladeny poměrně jednoduché požadavky: musí obsahovat veškeré informace, které předpokládaný čtenář - kolega odborník - potřebuje k tomu, aby mohl posoudit, nakolik jsou v textu studie prezentovaná zjištění validní (srov. Heller, 2011]. Tyto základní informace musí být uspořádány ustáleným způsobem, aby byly snadno k nalezení i bez čtení celého textu. Obecně očekávaná struktura se nemění a je otázkou oborového konsenzu: úvod - metody - výsledky a diskuse [Introduction - Method - Results - and Discussion; IMRaD]. Konkrétní požadavky na rozsah a obsah jednotlivých obvyklých částí této struktury se mohou lišit. Existují ale i publikační standardy s obecnější platností, které jsou přijímány i v kontextu pedagogických věd, jako je standard APA [2009], který je u nás kupodivu chápán reduktivně jako „ta citační norma se závorkami za jménem v seznamu literatury". Stručný standard pro psaní výzkumných studií vydala také AERA4 [2006] v časopise Educational Researcher. Ne vždy je ale výsledek vlastního výzkumu a jeho prezentování v podobě publikované studie ideální. Může docházet k publikačním zkreslením, která jsou dána tím, jak je věda jako společenská instituce uspořádána a jak funguje. Například Langfeldtová a Kyvik [2011] upozorňují na problémy, které vyplývají z nutnosti publikovat a možného konfliktu rolí výzkumníka, hodnotitele a kolegy v různých modalitách. Podobně uvažují například i Simmons, Nelson a Simonsohn [2011], když upozorňují, že statistická signifikance a pozitivní výsledky (tzv konfirmační zkreslení] z pohledu autora přinášejí vyšší pravděpodobnost publikování, rychlejší ediční proces i vyšší citovanost. Čím jsou pravidla pro recenzi volnější, tím se rozšiřuje prostor pro vznik falešně pozitivních výsledků. Obě citované studie se shodují v tom, že výzkumně komplikovaná témata jsou brzděna ve všech fázích vzniku. Specifická je i situace výzkumu v praxi. Možnými důvody jsou rozdíly ve znalostní bázi a míšení rolí (výzkumník, praktik, respondent, uživatel výsledků]. Obecně můžeme podle našich zkušeností konstatovat, že model přenosu vědeckých poznatků do praxe (RDDA; Research, Development, Diffusion, 4 AERA - American Educational Research Association. K metodologickým standardům kvantitativních studií v pedagogice: 459 Adoption) v pedagogice nefunguje příliš dobře, ačkoli je rutinně v medicíně používán přes 20 let a v oborech jako je psychologie a pedagogika se s ním experimentuje mnohem delší dobu. Klasický model přenosu výzkumných poznatků do praxe je i s ohledem na časovou podmíněnost řady z nich velmi přínosný. Přesto se mu v kontextu české odborné literatury dosud nevěnuje zásadnější pozornost (srov. Mareš, 2009], 2 Jaké jsou požadavky na empirickou studii podle APA? APA reprezentuje obecný standard písemné odborné komunikace, který zahrnuje pokyny pro strukturování obsahu sdělení, pro styl psaní, pro způsob citování a návod na přípravu rukopisu v konkrétních oborech (především sociálních věd, zejména v psychologii, pedagogice, lingvistice, ekonomii i dalších, např. ošetřovatelství]. Zdůrazňujeme, že se jedná o standard obecnějšího charakteru, nikoli jen ve vztahu k referování o výsledcích kvantitativní studie. Pokyny se týkají i formálních aspektů sdělení5 (od okrajů, přes používání nadpisů až po vizuální obsah]. Popsány jsou typické základní komponenty textu (titulní strana, abstrakt, obsah a seznam použité literatury]. Některé z těchto komponent jsou ale univerzální - krom již zmíněných se pokyny týkají i způsobu psaní úvodu a popisu metod. Z hlediska praktického použití mohou být důležitá i upozornění na prvky, kterým je potřeba se vyhnout, např. nálepkování respondentů na základě jejich individuálních charakteristik, jako je znevýhodnění, etnicita, sexuální orientace nebo z hlediska čtenáře faktory komplikující sdělení, jako je střídání rodu při popisu respondentů či nedostatečný verbální popis interpretovaných škál (APA, 2009], Text empirické studie by měl být jedním z hlavních příkladů vědeckého stylu v odborné publikaci. Pro tento styl je charakteristická přesnost, jasnost a zodpovědnost při prezentování výsledků, která umožňuje jejich snadné kritické zhodnocení (srov. APA, 2009; Yanchar, Slife, & Warne, 2008]. Prezentaci výsledků výzkumu lze v tomto smyslu chápat jako příběh, který se skládá z jednotlivých odborných argumentů, které na sebe logicky navazují. Strukturování sdělení usnadňují existující šablony pro psaní textu, které Typické formy sdělení jsou popsány i v tomto čísle Pedagogické orientace v podobě separátních studií (srov. Mareš, 2013; Švaříček & Šeďová, 2013). 460 Jan Mareš, Kateřina Vlčková jsou dostupné online.6 Při vědeckém psaní je důležité zaměřit se na myšlenky, pojetí, a ne na autory a jejich medailonky. Je vhodné používat shrnující věty a odstavce, a naopak omezit metakomentáře (v podobě „V následující podkapitole se budeme věnovat důležité problematice..."). Argumentačně je důležité se vyhýbat rétorickým figurám (slaměný panák aj.]. Charakteristická je i jazyková jednoduchost a přímočarost (bez nadbytečných slov, pojmů, vedlejších témat, zbytečných poznámek a nadužívaní zkratek, žargonu atd.]. Jednoduchost se projevuje i v relativně častém opakování, paralelních větných konstrukcích a minimálním používání synonym. S požadavkem na jednoduchost souvisí i nutnost definovat termíny, u nichž si nejsme jisti jejich obecnou známostí. APA vymezuje čtyři základní části empirického sdělení (úvod, metody, výsledky, diskuse] a požadavky na abstrakt a klíčová slova. Jednotlivým částem se níže věnujeme podrobněji. Abstrakt a klíčová slova Abstrakt a jeho obsah je dobrou ilustrací toho, jak chápat publikační standard. Jedná se o popis výzkumu (zpravidla nejčastěji čtený], který rozhoduje 0 tom, zda čtenář bude číst i zbytek textu. Jeho rozsah není velký, obvykle 150-250 slov. Je nutné si uvědomit, že by měl být přesný a autonomní, protože se (na rozdíl od dalších částí textu] může vyskytovat samostatně 1 mimo kontext vlastní publikace (např. jako součást publikačních metadat v databázi]. Měl by být psán úsporně a nabízet klíčové informace o vlastním sdělení: (a] co je zkoumaný problém, (b] jakým způsobem byl problém zkoumán a co konkrétně jsme udělali, abychom získali výsledky, a konečně (c] co jsme zjistili a k čemu mohou být výsledky užitečné. K abstraktu mohou být připojena jako součást metadat i klíčová slova, která usnadňují vyhledávání publikací se stejným zaměřením. Klíčová slova by měla být dostatečně specifická a z hlediska obsahu by zde měl být překryv s obsahem abstraktu. V případě kvantitativní pedagogické studie tak například rozhodně nebudeme čekat mezi klíčovými slovy pojmy, jako je „pedagogika", „psychologie", „empirický výzkum" či „statistické zpracování dat" apod. Napríklad Formát prací APA pro Word od Microsoftu dostupný z http://office.microsoŕt. com/cs-cz/templates/results.aspx?qu=apa&ex=2&av=all#ai:TC 102 806254| K metodologickým standardům kvantitativních studií v pedagogice: 461 Úvod Úvod by měl přinést stručnou a přehlednou formou odpověď na otázku: Co je tématem, co se o něm ví? Typická struktura úvodu obsahuje představení výzkumného problému. Dále se věnuje dosavadním způsobům řešení problému a stávajícím odpovědím na výzkumnou otázku. Z hlediska obsahu se nejedná o dějepis („Již J. A. Komenský..."], ani telefonní seznam; povinný výčet všech významných publikací k danému tématu je spíše charakteristický pro přehledovou studii, které se v tomto čísle věnuje Jiří Mareš [2013]. Dále je užitečné seznámit čtenáře s hlavními výzkumnými trendy, jejich přednostmi a reflexí jejich omezení. V této části publikace si připravujeme argumentační rámec pro zdůvodnění volby metod a diskusi výsledků. Mezi povinnou součást úvodu patří i popis nedostatků současného stavu poznání a hledání odpovědi na otázku, proč potřebujeme další výzkum v dané oblasti a explicitní upozornění na existující rozpory, omezení a nezodpovězené otázky z předchozích výzkumů. Tato část textu pak logicky končí formulací výzkumné otázky, cílů a hypotéz spolu s vysvětlením, jak naše uchopení problému reflektuje či překonává nedostatky dosavadního výzkumu. Metody V sekci metody by měl čtenář nalézt odpověď na otázku: Co jsme zkoumali a jak jsme postupovali?V případě kvantitativní studie popisujeme zkoumaný vzorek a jeho charakteristiky, které jsou důležité z hlediska zobecnění a využitelnosti výsledků. Těmito charakteristikami jsou parametry vzorku relevantní k výzkumné otázce (vč. jeho nedostatků], způsob výběru, cílová populace či informovaný souhlas respondentů. Následuje deskripce použitých metod (či podnětových materiálů], která zahrnuje jejich konstrukci, psychometrické vlastnosti a jejich kritická reflexe. To, které parametry nástroje a okolnosti jejich použití uvádět, je součástí odlišných konvencí. Pro rychlou orientaci mohou posloužit např. Standardy pro pedagogické a psychologické testování7 Standardy APA, AERA a NCME [National Council on Measurement in Education) slouží pro tvorbu a validizaci pedagogických a psychologických testů, inventářů, škál a evaluaci. Jejich cílem je vymezit kritéria pro hodnocení testu, postupu při testování a výsledného dopadu užívání testu. Jsou vhodné pro standardizaci nástrojů, méně pro nestandardizované dotazníky a pozorovací archy nebo interní učitelovy testy a evaluační archy. Ve Spojených státech reprezentují zásady profesionální psychodiagnostické praxe a staly se podnětem pro vytváření standardů také v jiných zemích. Nová verze standardů (zveřejněná k diskusi v roce 2011) má být publikovaná v roce 2013 a má posílit témata jako je spravedlivost testování, odpovědnost ve vzdělávání, testování na pracovišti a použití technologií. 462 Jan Mareš, Kateřina Vlčková [APA, AERA, NCME, 2001] či Model recenze podle EFPA pro popis a hodnocení psychologických testů. Formulář recenze testu a poznámky pro recenzenty8 [2005 - verze 3.42 v češtině nebo 2012 - nový návrh, verze 4.24 v angličtině]. Pomoci mohou případně i standardizované formáty metodologických „check-listů", které odpovídají použitým výzkumným metodám nebo designům, např. pro webové dotazníky CHERRIES [Eysenbach, 2004] nebo pro experimenty CONSORT9 [CONSORT Group, 2010]. Dále je nutné popsat design výzkumu, postupy a další relevantní okolnosti sběru dat. Následuje popis postupu analýzy dat. Tento popis musí být preciznější zejména tehdy je-li vlastní analýza složitá či neobvyklá, nebo pokud bylo nutno se vypořádat s chybějícími daty. Informujeme také o transformaci dat a o použitém software. Tyto požadavky umožňují snadnou replikaci a ověření výsledků výzkumu dalšími badateli. Výsledky Sekce výsledky referuje o tom, co nám vyšlo. Zjištění jsou prezentována v jazyce proměnných [statistiky], přičemž postupujeme od jednodušších, která popisují získaný datový soubor [deskriptívni statistiky], přes popis analýz a jejich výsledků [detailněji např. APA, 2009]. Cílem není prezentovat všechny dílčí výsledky, ale jen ty významné. Výsledky mají podobu tabulek a grafů, přičemž je striktně požadováno jejich propojení s textem v podobě odkazů a komentářů. Za nepřijatelné je považováno sdělení typu „Výsledky ukazuje následující tabulka [tečka]", protože je nutné propojení textu a tabulek či grafů. Častým problémem je chybějící popis os grafů, chybějící legenda tabulek nebo uvedení všech výsledků statistického testu, protože autor neví, které se mají uvádět. Nedílnou součástí sekce výsledky je konstatování o vyvrácení či nevyvrácení hypotéz. Formulace hypotéz má odpovídat statistickému testu. 8 Původní model EFPA [European Federation of Psychologists Associatioň) z roku 1998 vycházel z vícera zdrojů z různých zemí a byl revidován v roce 2004 a 2008, současná verze zahrnuje mimo jiné také check-Iist pro překlad a adaptaci testů P. Lindleyho (2009). Součástí modelu jsou doporučení pro popis výzkumného nebo jiného nástroje (obecné charakteristiky klasifikace, měření a skórování, počítačově generované zprávy podmínky] a evaluaci nástroje (kvality vysvětlení zdůvodnění, adekvátnosti dokumentace pro uživatele, kvality procedurálních pokynů pro uživatele, kvality testových materiálů u tištěných a elektronických testů, pokynů pro tvorbu a evaluaci norem, reliabilitu, validitu, kvalitu počítačově generovaných zpráv z nástroje a celkovou evaluaci). Cílem modelu je poskytnout popis a detailní profesionální hodnocení psychologických testů, škál a dotazníků, které jsou používány v oblasti psychologie, vzdělávání, zdraví a jinde. 9 CONSORT v současnosti používá kolem 600 časopisů, především v oblasti medicíny, kde je kvalita experimentů přísně sledována. K metodologickým standardům kvantitativních studií v pedagogice: 463 Nemělo by také docházet k situacím, kdy statistiku spočítá někdo jiný a autor interpretuje výsledky chybně nebo vůbec. Obvyklým příkladem této situace je uvádění všech statisticky významných výsledků bez ohledu na další faktory [velikost vzorku, velikost účinku], použití statistických procedur, „které používají všichni a jsou moderní" bez ohledu na charakteristiky výzkumného vzorku a datového souboru. Diskuse V diskusi jsou komentována výzkumná zjištění v širším kontextu. Cílem diskuse je přinést odpověď na otázku: Co výsledky znamenají? Účelem není zopakovat výsledky, ale je nutné jít o úroveň výše a zasadit je do souvislostí. Zjištění jsou prezentována slovně, nikoli pomocí statistiky. Součástí diskuse jsou jednak základní zjištění [odpovědi na výzkumnou otázku získané tímto výzkumem], ale také reflexe limitů a možných zkreslení výsledků. Nutností je propojení s dosavadními zjištěními dalších výzkumů, ať už nacházíme mezi výsledky soulad či nesrovnalosti. To umožňuje vidět výsledky v širším kontextu. Součástí diskuse je také reflexe nedořešených otázek a otázek, které se v daném výzkumu nově vynořily. Tyto otázky mohou být námětem pro další výzkum či vylepšení stávajícího výzkumného postupu. Důležité je informovat i o překvapivých zjištěních, pro které neexistuje teoretické vysvětlení, ani vysvětlení v podobě reflexe omezení výzkumu. Závěrem diskuse by mělo být shrnutí praktických implikací výsledků pro kolegy badatele i praktiky. V textu by měly být jasně odlišeny závěry plynoucí z výsledků výzkumu a jejich zobecnění v podobě indukce či dedukce autora v konfrontaci s dalšími výzkumy i teorií. 3 Požadavky českých časopisů a konferencí na reportování realizace a výsledků kvantitativního výzkumu Dosud jsme pozornost věnovali teoretickému pohledu na podobu [kvantitativní] výzkumné studie. Kvalitu reportování z výzkumů ale výrazně ovlivňuje i „žitá praxe", tedy například požadavky časopisů a konferenčních výborů na daný typ studií. Proto bylo naším cílem také zmapovat, jak je metodologický standard nastavován redakcemi českých pedagogických časopisů a výbory vědeckých konferencí, a do jaké míry je daný standard explicitní. 464 Jan Mareš, Kateřina Vlčková Zaměřili jsme se na: • Nejvýznamnější pedagogické časopisy ze Seznamu recenzovaných neim-paktovaných periodik schváleného Radou pro výzkum a vývoj. Konkrétně se jednalo o časopisy Pedagogika, Pedagogická orientace, Studia Paedago-gica, Orbis Scholae, a e-Pedagogium (vždy ve stavu k únoru 2013], • Nejvýznamnější, pravidelně organizované konference zaměřené na pedagogický výzkum (tab. 1]. Jednalo se o poslední organizované konference do března 2013 včetně. Tabulka 1 Přehled konferencí, jejichž požadavky na studie byly analyzovány Název Asociace Organizátor Konání Kvalita ve vzdělávání Výroční Pedagogická fakulta září 20. konference Univerzity Karlovy 2012 České asociace v Praze pedagogického výzkumu (ČAPV] Koncepce vzdělávání Výroční Fakulta přírodovědně- březen v současné kurikulární 20. konference humanitní 2013 diskuzi České pedagogické a pedagogické společnosti (ČPdS] Technické univerzity v Liberci Pedagogická diagnostika výroční Pedagogická fakulta říjen a pedagogická evaluace 10. konference Ostravské univerzity 2012 Pedagogika DSP: Aktuální 9. ročník mezinárodní Ústav pedagogiky prosinec problémy pedagogiky studentské vědecké a sociálních studií 2011 ve výzkumech studentů konference Pedagogické fakulty doktorských studijních a metodologický Univerzity Palackého programů seminář v Olomouci Vycházeli jsme z webových stránek časopisů a konferencí a sledovali pokyny pro autory a zohlednili i pokyny pro recenzenty, pokud byly dostupné (viz Literatura). V našem srovnání nejsou odlišovány požadavky na kvantitativní a kvalitativní studie10, protože časopisy ani konference tyto požadavky takto nespecifikují. Odlišovány nebývají ani metodologické požadavky od jiných. Na metodologické požadavky časopisů nahlížíme pouze exemplárně zorným úhlem běžných kritérií pro empirické studie, tak jakje obsahují téměř všechny 10 Toto dělení bývá mnohými autory v současnosti považováno za nepřesné a překonané (srov. Bergman, 2011). K metodologickým standardům kvantitativních studií v pedagogice: 465 učebnice metod pedagogického výzkumu. Některé prezentují zvlášť kritéria pro různé typy výzkumů (např. právě v tradičním dělení na kvalitativní a kvantitativní výzkum]. Zvolili jsme kritéria pro evaluaci kvantitativní studie z metodologické učebnice Educational Research od Johna W. Creswella [2005], která je podle našich zkušeností jednou z nejoblíbenějších a nejvíce používaných učebnic pedagogického výzkumu v zahraničí. Naším cílem není podle jednoho z vícera možných check-listů pro reportování z kvantitativního výzkumu hodnotit, jaké všechny požadavky časopisy a konference formulují, spíše na tomto příkladovém check-listu ukázat, o kterých oblastech je při reportování z kvantitativního výzkumu vhodné uvažovat tak, aby byl text rychle a snadno srozumitelný pro čtenáře a prezentace výsledků důvěryhodná. Pokud si položíme otázku, zda dané časopisy a konference explicitně uvádějí, že se zaměřují na empirický výzkum a studie, můžeme říci, že prakticky všechny ano (tab. 2]. Pro účastníky doktorandské konference v Olomouci bylo toto kritérium dokonce vylučující. Na druhou stranu explicitní požadavky na metodologický obsah a metodologickou kvalitu těchto studií kladou prakticky jen časopisy. Tabulka 2 Explicitnost metodologických požadavků na empirické studie (k únoru 2013) O > T3 T3 £ Oh T3 "rt 0- 0 0 cl, oo tV < cl, > on O* d* on O u >u W Q Na webových stránkách je explicitně uvedeno, že časopis/konference je zaměřen/a na empirické + + + + + + -- + studie. Na webových stránkách jsou explicitní metodologické požadavky na empirické studie pro autory + + -- + -- --11 (a případně recenzenty). Pozn.: Ped. - Pedagogika, PedOr - Pedagogická orientace, SP - Studia paedagogica, OS - Orbis scholae, e-Ped. - E-Pedagogium, Eval. - Pedagogická diagnostika a evaluace, DSP - Pedagogika DSP. Plus (+) značí, že časopis dané kritérium splňuje nebo vyžaduje; mínus (-), že nikoli; kombinace plus a mínus (+/-), že částečně. Dále jsme si položili otázku, co všechno tyto explicitní požadavky zahrnují? Dle Creswellových kritérií (2005, s. 276] pro kvantitativní studie jsme se Jedná se spíše o formální požadavky na úpravu textu. 466 Jan Mareš, Kateřina Vlčková zaměřili na 7 základních oblastí: [1] název studie, [2] formulaci problému, [3] rešerši literatury, [4] cíl, hypotézy a výzkumné otázky, [5] sběr dat, [6] analýzu dat a výsledky a [7] text studie. 3.1 Název studie Požadavky na název empirické kvantitativní studie nejsou vČR ve specifických kategoriích (viz Creswell, 2005] explicitně vyžadovány (tab. 3]. Je to patrně z toho důvodu, že v ČR zatím nejspíše nedoceňujeme název tak výrazně jako v zahraničních časopisech, jejichž studie jsou zařazovány do databází typu Scopus nebo Web of Science. Většina českých odborných pedagogických časopisů o zařazení do těchto databází teprve usiluje. Tabulka 3 Požadavky kladené na název studie Ped. PedOr SP OS e-Ped. ČAPV ČPdS E val. DSP Odráží hlavní nezávisle a závisle proměnné. Vyjadřuje porovnání skupin nebo vztah mezi proměnnými. Uvádí zkoumané osoby a místo výzkumu. Pozn.: Vysvětlení použitých zkratek viz tab. 2. Název a abstrakt (příp. klíčová slova] jsou důležité, neboť se dle nich články vyhledávají v databázích a často i citují. Je třeba dbát na to, aby poskytovaly klíčové údaje o výzkumné otázce, teorii, vzorku, metodě, analýze dat a hlavních závěrech (k současným požadavkům a jejich zdůvodnění viz Kelly &Yin, 2007]. V korespondenci s tímto trendem některé časopisy a konference specifikují své požadavky na abstrakt: Pedagogická orientace vyžaduje „standardní obsah" abstraktu a soulad názvu s abstraktem a obsahem. Orbis scholae, konference ČAPV a shodně12 doktorandská konference vyžadovaly, aby abstrakt obsahoval specifikaci problému, hlavní závěry, popis vzorku a metodolo- Domníváme se, že shoda je dána tím, že garantem Orbis scholae a organizace konference ČAPV 2012 je Ústav výzkumu a rozvoje vzdělávání Pedagogické fakulty Univerzity Karlovy. Myslíme si, že organizátoři doktorandské konference v Olomouci požadavky přejali, tak aby byly pro studenty DSP v rolích autorů obdobné a v ČR v dané době jednotné. K metodologickým standardům kvantitativních studií v pedagogice: 467 gie, hlavní nálezy. Recenzenti příspěvků doktorandské konference hodnotili také korespondenci obsahu příspěvku s deklarovaným názvem a výstižnost abstraktu vůči podstatě příspěvku. E-Pedagogium vyžaduje „výstižnost" abstraktu a klíčových slov. 3.2 Formulace problému Výzkumný problém je třeba formulovat jasně, srozumitelně, přesně, úplně a tak, aby vykazoval teoretickou a praktickou hodnotu. Časopisy i konference se k požadavkům na formulaci výzkumného problému vyjadřují spíše omezeně (tab. 4]. Krom níže zmíněných kritérií (tab. 4] hodnotí Pedagogika prostřednictvím recenzentů „novost tématu" a Pedagogická orientace „výstižnost definování problematiky". Tabulka 4 Požadavky na formulaci výzkumného problému O V, > on ■ t3 t3 £ Oh t3 "S 0- a* Ph on O u >u w Q +/- + -.+.... - +/ Zkratky viz tab. 2. Obsahuje relevantní pedagogicky problém. Poskytuje důkaz, že je problém důležitý. Je zřejmé, jak byl problém identifikován (pomocí přehledu literatury nebo ze zkušenosti). Výzkumný problém odpovídá kvantitativnímu přístupu. Předpoklady jsou konzistentní s přístupem. 3.3 Přeh led litera tu ry Přehled literatury by měl být sestavován dle zásad tvorby přehledových studií (viz např. Mareš, 2013, v tomto čísle PedOr]. Podle Tuckmana (1999] by měl být přehled literatury v kvantitativním designu založený také na studiích uvádějících číselné údaje, měl by být jasný, relevantní, soudobý, citace a odkazy by měly být dle normy (obvykle APA nebo ČSN ISO 690]. Co se týče požadavků časopisů a konferencí, vyžadují sice dodržování normy, ale obvykle jen v jejím úzkém pojetí jakožto citační normy (tab. 5], 468 Jan Mareš, Kateřina Vlčková Tabulka 5 Požadavky na přehled literatury O V, > on ■ 0 0pHoo&- on O* d* on O u >u W Q +/" Rešerše studií týkajících se závisle a nezávisle proměnné. Studie je zakončena tím, jak autor rozšíří současnou literaturu. Studie je psaná dle stylu APA (nebo jiného).* +/- + +/-+/-+/-+/- - +/-+/- Pozn.: Vysvětlení použitých zkratekviz tab. 2. Označení (+/-) znamená, že dodržování normy se týká především citací dle normy, nikoli zásadněji i dalších parametrů textu. Z hlediska rešerše literatury požadují časopisy a konference dále následující: Pedagogika doporučuje prezentaci jednoho hlavního tématu a současného stavu poznání a reprezentativnost pramenů. E-Pedagogium vyžaduje práci se zahraniční a domácí literaturou a podobně doktorandská konference vyžadovala reflektování současného stavu poznání ve zvolené problematice. 3.4 Cíl, hypotézy a výzkum né otázky Analýza ukázala, že požadavky na cíle, otázky a hypotézy nebývají blíže specifikovány (tab. 6]. Do této části reportování z výzkumu lze zahrnovat nejen kritéria týkající se hypotéz, ale i proměnných a lze si klást následující otázky (Tuckman, 1999]: Jaké jsou hypotézy? 0 jaký druh hypotéz se jedná? Jsou stanoveny nezávisle a závisle proměnné, intervenující a kontrolní proměnné? Byly formulovány operační definice proměnných? Byly kontrolovány vnější vlivy, tak aby zkreslení neměla vliv na zkoumané, jejich zkušenosti nebo na zobecňování výsledků? Bylo manipulováno určitými proměnnými? K metodologickým standardům kvantitativních studií v pedagogice: 469 Tabulka 6 Požadavky na formulaci cílů, hypotéz a otázek s-O -á > T3 T3 -a n fis CD CD Oh d. Qh Z-i i on O qj tq q Účel je specifikován. + + Formulace účelu je jasná a indikuje proměnné a respondenty výzkumu. Formulace účelu a hypotéz nebo výzkumných otázek - +/- obsahuje hlavní součásti, které pomohou čtenáři porozumět studii. Autor specifikoval teorii nebo uvedl vysvětlení + + - - - k hypotézám nebo otázkám. Pozn.: Vysvětlení použitých zkratek viz tab. 2. 3.5 Sběr dat Co se týče sběru dat, zaměřují se z hlediska Creswellových kritérií [2005] časopisy a konference prakticky jen na oblast validity a reliability nástrojů [tab. 7].13 Z hlediska popisu sběru dat je samozřejmě třeba, aby autor specifikoval také celkový design výzkumu. Z dalších požadavků v této oblasti Pedagogika vyžaduje dostatečný popis vzorku a výzkumu tak, aby byl opakovatelný. Podobně Pedagogická orientace vyžaduje „popis vzorku" a respektování etických norem. Problémy nedostatečného zajišťování, případně měření či uvádění reliability a validity ukazuje studie P. Gavory (2013) v tomto čísle, která prezentuje analýzu studií z pedagogického časopisu Journal of Educational Research. I v takto významném časopise se problémy s reportováním či zajišťováním obou kritérií kvalitního výzkumu objevují. Ukazuje se, že způsoby validizace a zajišťování reliability mohou být různé podle konkrétního designu výzkumu a není možné jejich hodnoty automaticky považovat za dobré či špatné, spíše je třeba je vždy vztahovat ke konkrétním cílům a podmínkám výzkumu (srov. Gavora, 2013). 470 Jan Mareš, Kateřina Vlčková Tabulka 7 Požadavky na informace o sběru dat .O V, > on ■ O* d* on O u >u W Q Autor uvádí kroky, které podnikl pro získání přístupu k lidem a místům. Použita rigorózní strategie náhodného výběru. Použity dobré, validní a reliabilní nástroje pro měření proměnných. Nástroje administrovány tak, aby nevedly ke zkreslením a chybám ve výzkumu._ Pozn.: Vysvětlení použitých zkratek viz tab. 2. 3.6 Analýza data výsledky Podíváme-li se na požadavky týkající se analýzy dat a prezentace výsledků z hlediska Creswellových kritérií [2005], časopisy a konference se s nimi prakticky míjí (tab. 8], nicméně explicitně v této oblasti zohledňují i jiná kritéria: Pedagogika vyžaduje přehlednost a vhodnou volbu tabulek a grafů a jejich označení, průkaznost argumentů, korektnost interpretace statistických výsledků a jasnost závěrů. Pedagogická orientace požaduje ověřitelnost, objektivitu, validitu a reliabilitu výsledků, adekvátnost, důvěryhodnost a kvalitu sdělení a interpretací, formulování závěrů, recenzenti hodnotí kvalitu diskuse. Doktorandská konference hodnotila, zda závěry příspěvku vyplývají z předchozího textu a zda grafy a tabulky nebo obrázky jsou smysluplnou součástí příspěvku. Tabulka 8 Požadavky na analýzu dat a výsledky O V, > on ■ T3 T3 á? P3 "rt 0- Zvolené statistické analýzy jsou konzistentní + s výzkumnou otázkou, hypotézami, proměnnými a škálou měření. Jednotka analýzy je adekvátní pro zodpovězení výzkumného problému. Výsledky jsou doloženy důkazy. - + Zobecnění výsledků je omezeno na populaci účastníků + ve výzkumu._ Pozn.: Vysvětlení použitých zkratek viz tab. 2. K metodologickým standardům kvantitativních studií v pedagogice: 471 Analýza dat patří vedle sběru dat a reportování o nich podle našeho názoru k hlavním problematickým místům kvantitativních studií v pedagogice. Časopisy ani konference se zatím prakticky nezabývají tím, co by ve studiích mělo být uvedeno z hlediska statistických testů (srov. požadavky Československé psychologie - Heller, 2011]. Recenzenti kvantitativních studií mohou zastávat odlišné názory na statistickou analýzu dat a jejich reportování nebo se nemusí ve statistice dostatečně orientovat. Ne vždy bývají publikovány potřebné analýzy a výsledky, často například chybí v posledních letech v zahraničních časopisech vyžadovaná velikost účinku, která je považována za jeden z předpokladů pro kumulování vědeckých poznatků založených na meta-analýzách dat. Problematické bývá také testování hypotéz, pro něž prakticky nejde použít žádný jiný než náhodný, vícestupňový a stratifikovaný výběr (srov. Soukup & Rabušic, 2007]. Jeden z výše jmenovaných pedagogických časopisů dává například v Pokynech pro autory doporučení na konkrétní formulaci textu s výsledky: „Ukázalo se/potvrdilo se, že...". Je otázkou vzhledem k vývoji teorií testování hypotéz (srov. Cuberek & Frômel, 2011], zda bychom v návodech neměli být důslední v odborném diskurzu, v němž v kontextu falzifikace hypotéz nelze něco skutečně potvrdit. V případě analýzy dat a prezentace výsledků si lze klást, podobně jako v ostatních sledovaných kritériích, i další otázky: Odpovídají zjištění na daný výzkumný problém? Do jaké míry byla zjištění statisticky signifikantní a věcně důležitá? Jsou v diskusi uvedeny závěry? Jsou konsistentní se zjištěními? Nabízí diskuse adekvátní a odůvodněné interpretace toho, proč výsledky odpovídají nebo neodpovídají očekáváním? Navrhuje diskuse zdůvodněné závěry, co má čtenář udělat s výsledky? (Tuckman, 1999] 3.7 Text studie Kritéria Creswella (2005] nejsou v požadavcích na text studie ze strany analyzovaných časopisů a konferencí uplatňována (tab. 9]. Orbis scholae, konference ČAPV a doktorandská konference mají shodné požadavky na srozumitelnost textu dle stylu APA (uspořádanost, jednoduchost, pregnantnost, konzistentnost]. Výtah z normy APA je pak stejný u Orbis scholae, Pedagogické orientace, konference ČAPV nebo doktorandské konference.14 Pedagogická 14 Předpokládáme, že zdrojem obou pokynů je nejspíše Institut výzkumu školního vzdělávání PdF MU, který byl v rámci Centra základního výzkumu školního vzdělávání (2006-2012] partnerským výzkumným pracovištěm Ústavu pro výzkum a rozvoj vzdělávání PedF UK, kde sídlí redakce časopisu Orbis scholae a který organizoval konferenci ČAPV 2012. Domníváme se, že doktorandská konference materiály převzala. 472 Jan Mareš, Kateřina Vlčková orientace hodnotila jasnost a srozumitelnost studie, dodržení standardního členění studie. Doktorandská konference hodnotila respektování logické návaznosti textu, stanovení cílů příspěvku a napsání příspěvku odborným jazykem. Tabulka 9 Požadavky na text studie O V, > on ■ T3 T3 £ Oh t3 "S 0- Konzistentnost struktury se zkoumaným tématem v kvantitativní studii. Řádná definice pedagogických a sociálně vědních termínů. Konzistentní označování proměnných. + Používání rozsáhlých odkazů. Studie je psaná tak, že používá neosobní úhel pohledu. Studie je pro zamýšlené/ho čtenáře vhodně napsaná. + + Pozn.: Vysvětlení použitých zkratek viz tab. 2. 3.8 Další požadavky: Metodologická kritéria konferencí pro postery Specifickou formou prezentace výzkumu a jeho zjištění jsou postery, které vyžadují větší hutnost a názornost sdělení zajišťovanou především pomocí schémat, grafů a obrázků. V České republice v pedagogických vědách nebývají příliš typickou formou výzkumného sdělení, i když mají také svůj nezastupitelný význam, především na konferencích. Specifická kritéria pro hodnotitele posterové sekce byla formulována na konferenci ČAPV v roce 2012, kde se postery objevily jako systematická a samostatná sekce konference ČAPV druhým rokem a prvním rokem byly hodnoceny pomocí předem zveřejněných kritérií. Čeští autoři nebyli v českém prostředí na postery příliš zvyklí a mnohdy se učili, jak je profesionálně vytvářet v Corel Draw nebo v jiných aplikacích. V daném kontextu byla také, zdá se, (podobně jako u časopisů a konferencí] kladena větší váha na formální kritéria, vypovídající spíše o tom, zda se autor naučil tvořit poster, než na kritéria vědecké a metodologické úrovně sdělení (tab. 10]. Hodnocení vědecké kvality tvořilo pouze 30% celkového hodnocení a zaměřovalo se jen na 3 oblasti: (1] významnost a přínosnost tématu pro vědu, (2] odůvodněnost metodologie a vhodnost K metodologickým standardům kvantitativních studií v pedagogice: 473 designu a [2] adekvátnost závěrů, důvěryhodnost zjištění, přičemž deskripce kategorií nepokrývala vždy názvy kategorií (tab. 10], Tabulka 10 Požadavky na postery na konferenci ČAPV2012 Vědecká kvalita Významnost tématu Je výzkumné téma přínosné pro rozvoj věd (váha 30%] o výchově a vzdělávání? Odůvodněnost Je výzkumný design vhodně zvolený? metodologie Adekvátnost závěrů Jsou zjištění důvěryhodná? Obsahová Výstižnost Je poster dostatečně stručný a zároveň formální kvalita informačně výstižný a ucelený? (váha 50 %] Strukturovanost údajů Jsou informace logicky předloženy? Úplnost formálních údajů Je jasné, kdo poster vytvořil a kde lze získat další informace? Vizuální kvalita Estetičnost Je poster pěkný? (váha 20%] Zajímavost Je poster graficky originální? Přehlednost Je poster uspořádaný? 4 Závěr Ukazuje se, že metodologické požadavky na empirické studie nejsou v časopisech a především pro konference konkrétněji specifikované, což může mít některé závažné dopady (srov. Langfeldt & Kyvik, 2011]. V pokynech pro autory a recenzenty české pedagogické časopisy ani konference neodkazují na metodologické standardy. Jako standard je chápána výseč APA stylu týkající se odkazování a tvorby seznamu literatury a méně často například i úpravy tabulek a grafů (např. Orbis scholae, Pedagogická orientace). Publikační styl APA však není jen citační norma, ale především způsob argumentace a korektní prezentace výzkumných výsledků. Tento model je přebírán americkými a mezinárodními časopisy a jeví se jako vhodný také pro české prostředí především proto, že poskytuje konkrétní materiál, včetně výukových podkladů. Podobně jako pokyny pro závěrečné práce, které analyzuje J. Němec [2013] v tomto čísle PedOr, i zde se ukazuje, že větší pozornost je věnována citační normě než odborné a metodologické stránce studií. Časopisy a konference předpokládají, že autoři, nebo přinejmenším recenzenti, vědí, co má empirická studie obsahovat, tj. co vše a jak je třeba reportovat (podobně u standardů 474 Jan Mareš, Kateřina Vlčková závěrečných prací, srov. Němec, 2013]. Tato nadměrná volnost může otevírat prostor recenzentům dvě či více studií s podobnými metodologickými nedostatky přijmout i nepřijmout zároveň (srov. Mareš, 2003], přičemž autor nepřijaté studie se obvykle obrací na redakci s argumentem, že jiná studie s obdobnými metodologickými postupy byla publikována a jeho je naopak zamítnuta. S problémem implicitního nastavení standardu vědeckého publikování empirických prací se však potýká nejen pedagogika, ale i další soci-álněvědní a humanitní disciplíny u nás i v zahraničí. Z blízkých oborů se to v českém prostředí týká například psychologie. Z pohledu kritického čtenáře nacházíme určitý nesoulad mezi požadavky explicitně formulovanými a kvalitou studií časopisem otiskovaných. Srovnání požadavků časopisů a konferencí naznačuje, že samotné množství požadovaných nebo hodnocených kritérií určitým časopisem není automaticky přímo úměrné kvalitě studií, které časopis otiskuje. Rozhodující je kvalita časopisu, redakce, recenzentů a autorů daného časopisu a zaměření implicitních požadavků na metodologickou a teoretickou stránku studií. Cílem naší studie nebylo přispět k omezování svobody formy a obsahu prezentace vědeckých výsledků. Spíše se domníváme, že v současnosti česká odborná veřejnost v zastoupení recenzovanými časopisy, konferenčními výbory a autory studií nejen potřebuje, ale i může metodologické požadavky na empirické studie formulovat přísněji, konkrétněji a především explicitně. Může tak činit prostřednictvím redakcí a redakčních rad časopisů, nebo odkazem na metodologickou (nejen citační] normu APA (2009] a další potřebné standardy například pro reportování z výzkumu (např. AERA, 2006] nebo evaluační standardy (AEA či JCSEE]15. Existuje tedy určitá tenze mezi kritérii v odborné literatuře domácí i zahraniční, tím, co učíme studenty, a tím, jaké hodnotící rámce jsou v odborné komunikaci deklarovány, jaké jsou používány a jak přísná hodnocení z uplatňování těchto měřítek vycházejí a jaké výsledky jsou publikovány a nabízeny pro praxi (srov. Michek, 2012]. Domníváme se, že přichází čas pro zúžení šedé zóny a zpřesnění požadavků pro publikování, což bude mít příznivý dopad jak pro publikující autory, tak i pro širší odbornou komunitu, včetně studentů a praktiků. AEA - American Evaluation Association, JCSEE - The Joint Committee on Standards for Educational Evaluation. K metodologickým standardům kvantitativních studií v pedagogice: 475 Poděkování Za podnětné připomínky ke koncepci studie děkujeme S. Ježkovi, P. Knechtovi a T. Janíkovi, za spolupráci na přípravě podkladů kanalýze požadavků časopisů a konferencí M. Janíkovi, za další připomínky recenzentům a redakci. Literatura AERA - American Educational Research Association (2006). Standards for reporting on empirical social science research in AERA publications. Educational Researcher, 35(6), 33-40. APA - American Psychological Association (2009). Publication manual of the American Psychological Association. 6. vyd. Washington: APA. APA, AERA, & NCME - American Psychological Association, American Educational Research Association, & National Council on Measurement in Education. (2001). Standardy pro pedagogické a psychologické testování, (přeložil T. Urbánek) Praha: Testcentrum. Bergman, M. M. (2011). O nezbytnosti třetí generace ve smíšeném designu, teorii a výzkumu: o překonávání nekompatibility kvalitativního a kvantitativního výzkumu. Pedagogická orientace, 21[A\ 457-473. CONSORT Group (2010). Consolidated standards of reporting trials. CONSORT Group. Creswell, J. W. (2005). Educational research: Planning, conducting, and evaluating quantitative and qualitative research. New Jersey: Pearson Prentice Hall. Cuberek, R., & Frómel, K. (2011). K problematice výzkumného výběru a testování nulové hypotézy. Československá psychologie, 55(5), 468-477. EFPA - European Federation of Psychologists Association (2005). Model recenze podle EFPA pro popis a hodnocení psychologických testů. Formulář recenze testu a poznámky pro recenzenty. Verze 3.42 (česká verze, překlad Tomáš Urbánek). Dostupné z http://www.efpa. eu/professional-development/tests-and-testing EFPA (2012). EFPA review model for the description and evaluation of psychological and educational tests. Test review form and notes for reviewers. Version 4.2.4. (Final draft EFPA standard for external consultation). Dostupné z http://www.efpa.eu/professional- development/ assessment Eysenbach, G. (2004). Improving the quality of web surveys: The checklist for reporting results of Internet e-surveys (CHERRIES). Journal of Medical Internet Research, 6(3), 34. Gavora, P. (2013). Validita a reliabilita výskumných nástrojov: principy a reálna prax. Pedagogická orientace, 23{A), 511-534. Heller, D. (2011). Metodologické požadavky na výzkumné studie. Československá psychologie, 55(5), 482-484. Hiles, D. (2001). Rethinking paradigms of research in psychology. Přednáška prezentovaná v rámci In Brno Lecture series: Paradigms lost, Paradigms returned, Paradigms discerned, Brno. Kelly, A. E., & Yin, R. K. (2007). Strengthening structured abstracts for education research: The need for claim-based structured abstracts. Educational Researcher, 36(3), 133-138. Langfeldt, L., & Kyvik, S. (2011). Researchers as evaluators: tasks, tensions and politics. Higher Education, 62{2], 199-212. 476 Jan Mareš, Kateřina Vlčková Lindley, P. A. (2009). Reviewing translated and adapted tests (Notes and checklistfor reviewers). British Psychological Society. Mareš, J. (2003). Recenzní řízení v časopisech a důvody proč jsou některé rukopisy odmítány. Pedagogika, 53(1), 55-66. Mareš, J. (2009). Edukace založená na důkazech: Inspirace pro pedagogický výzkum i školní praxi. Pedagogika, 59(3), 232-258. Mareš, J. (2013). Tvorba přehledových studií: rámcová doporučení. Pedagogická orientace, 23(4), 427-454. Mešek, D. etal. (2006). Akademická příručka. Martin: Osveta. Michek, S. (2012). Využití recenze jako prostředku zkvalitnění evaluačních nástrojů vytvořených v projektu Cesta ke kvalitě. XX. konference České asociace pedagogického výzkumu: Kvalita ve vzdělávání 10.-12. září2012. Praha: Pedagogická fakulta Univerzity Karlovy v Praze. Němec, J. (2013). Standardy závěrečných prací pedagogických oborů. Pedagogická orientace, 23{4), 535-554. Novotný V. (2000). Kargo kult, český vědecký. Vesmír, 79(5), 284. Pokyny autorům. Recenzní řízení. Studia Paedagogica. Dostupné z http://www.phil.muni.cz/ journals/index.php/studia-paedagogica/ Pokyny pro autory. Cíle a zaměření. Požadavky na úpravu příspěvků. Orbis Scholae. Dostupné z http://www.orbisscholae.cz/ Pokyny pro autory. Požadavky na úpravu příspěvků. Recenzní řízení. Autorská práva. Pedagogická orientace. Vědecký časopis České pedagogické společnosti. Dostupné z http://www.ped. muni.cz/pedor/ Pokyny pro přípravu rukopisu; Doporučení studentům DSP. E-Pedagogium. Dostupné z http:// www.pdf.upol.cz/rychle-odkazy/casopis-e-pedagogium/ Poslání časopisu Pedagogika. Informace pro autory. Pedagogika. Časopis pro vědy o vzdělávání a výchově. Dostupné z http://userweb.pedf.cuni.cz/wp/pedagogika/ Program. Kritéria kvality příspěvků pro recenzi příspěvku pro sborník z konference. In Konference Pedagogika DSP: Aktuální problémy pedagogiky ve výzkumech studentů doktorských studijních programů - 9. ročník mezinárodní studentské vědecké konference a metodologický seminář (listopad/prosinec 2011). Olomouc: Ústav pedagogiky a sociálních studií Pedagogické fakulty Univerzity Palackého. Dostupné z http://www.pedagogikadsp. cz/. Simmons, J. P, Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359-66. Soukup, P, & Rabušic L. (2007). Několik poznámek k jedné obsesi českých sociálních věd - statistické významnosti. Sociologický časopis, 43(2), 379-395. Šanderová, J. (2005) Jak číst a psát odborný text ve společenských vědách. Několik zásad pro začátečníky. Praha: Sociologické nakladatelství. Švaříček, R., & Šeďová, K. (2013). Jak psát kvalitativně orientované výzkumné studie. Kvalita v kvalitativním výzkumu. Pedagogická orientace, 23(4), 478-510. Tuckman, B. W. (1999). Conducting educational research (5. vyd.). Ft. Worth, TX: Harcourt Brače College Publishers. Výroční 10. konference Pedagogická diagnostika a evaluace (říjen 2012). Ostravice: Pedagogická fakulta Ostravské univerzity. Dostupné z http://konference.osu.cz/pedagogicka-evaluace/ K metodologickým standardům kvantitativních studií v pedagogice: 477 Výroční20. konference České asociace pedagogického výzkumu (ČAPV) Kvalita ve vzdělávání {září 2012). Praha: Pedagogická fakulta Univerzity Karlovy. Dostupné z http://capv2012.pedf. cuni.cz/ Výroční 20. konference České pedagogické společnosti (ČPdS) Koncepce vzdělávání v současné kurikulárnídiskuzi (březen 2013). Liberec: Fakulta přírodovědně-humanitní a pedagogická Technické univerzity v Liberci. Dostupné z http://cpds2013.fp.tul.cz/ Yanchar, S. C, Slife, B. D., & Warne, R. (2008). Critical thinking as disciplinary practice. Review of General Psychology, 12(3), 265-281. Autoři Mgr. et Mgr. Jan Mareš, Ph.D., Masarykova univerzita, Pedagogická fakulta, Katedra psychologie, Poříčí 31, 603 00 Brno, e-mail: jmares@fss.muni.cz Doc. Kateřina Vlčková, Ph.D., Masarykova univerzita, Pedagogická fakulta, Katedra pedagogiky, Poříčí 31, 603 00 Brno, e-mail: vlckova@ped.muni.cz Methodological standards of quantitative studies in educational sciences: How to write about research findings? Abstract: The paper discusses the main purpose of (quantitative) empirical studies as a part of a knowledge base of educational science. The quality and standard of presentation and publication of the results of quantitative research is therefore one of the ever relevant themes of (not only Czech) educational science. Thus the quality of (quantitative) empirical studies is closely linked to the general discussion of methodological standards of the discipline. Our study begins with a discussion about why to publish research results and consequently, how to publish them. The theoretical basis of the discussion about methodological standard of reporting educational research is formed by international publication standards (e.g. APA, AERA) and methodological literature. By analysing the requirements of Czech peer-reviewed journals and major Czech conferences on educational research we discuss in the second part of our study what is explicitly required and what would be at present appropriate to require from research and empirical educational studies in the Czech environment, in the context of international practice and standards. We refer to the Czech situation and its consequences - the journals and conference committees do not specify their methodological requirements or standards and assume its implicit sharing in a situation where there is only part of the Czech version of the standards of the educational science available. Keywords: quantitative educational research, research report standard, publication standard, empirical studies, APA style, Czech educational science journals