Vlčková, Kateřina. Metodologická stránka doktorských projektů oboru Pedagogika. Bulletin CPV, Brno : CPV, 4, 4, od s. 6 21, 16 s. 2008. info Metodologická stránka doktorských projektů oboru pedagogika Pohled na projekty ze Semináře studentů 1. a 2. ročníku doktorského studijního programu na PdF MU[1] Dne 17. 4. 2008 se na Pedagogické fakultě MU uskutečnil Seminář studentů doktorského studijního programu (DSP) Pedagogika. Seminář byl určen studentům 1. a 2. ročníku DSP Pedagogika a DSP Pedagogika se zaměřením na oborovou didaktiku. Centrum pedagogického výzkumu (CPV), které konferenci organizovalo, obdrželo k posouzení celkem 14 projektů (tab. 1) z celkových 35 projektů realizovaných v 1. a 2. ročnících. V jednotlivých číslech Bulletinu Centra pedagogického výzkumu PdF MU jsou některé z projektů publikovány. Myšlenkou konference bylo umožnit prezentaci aktuálního stavu prací na projektech a získat zpětnou vazbu od posuzovatelů a účastníků konference. Tato příležitost se týkala jak prezenčního studia (3-leté), tak kombinovaného (5-leté), v nichž se samozřejmě intenzita práce na projektu může dosti lišit. Tab. 1: Přihlášené projekty autor projektu rok studia forma studia[2] téma projektu školitel (a konzultant) Doskočilová, Marie 1 P Reprodukce genderových stereotypů ve výuce Vlčková, Kateřina Dvořáková, Kateřina 1 P Vliv projektové výuky na rozvoj znalostí dětí 1.stupně ZŠ Kratochvílová, Jana Hlaďo, Petr 2 P Volba povolání žáků základních škol v kontextu rodiny Friedmann, Zdeněk Lunerová, Jitka 2 P Muzejní pedagogika v dějepisném vyučování Vaculík, Jaroslav Štěpánek, Kamil Novák, Petr 2 P Jednoduchý experiment v přírodovědném vzdělávání Trna, Josef Janík, Tomáš Ondrůjová, Radka 1 K Žákovské portfolio jako prostředek směřující k rozvoji dovednosti sebehodnocení a sebereflexi žáků 3. – 5. ročníku ZŠ Horká, Hana Kratochvílová, Jana Plecová, Iveta 1 P Vliv učitele na pohybovou aktivitu žáků 1.st. ZŠ Mužík, Vladislav Plchotová, Petra 1 P Analýza receptivního verbálního obsahu učebnic francouzštiny pro vzdělávací obor Další cizí jazyk Kyloušková, Hana Soběslavská, Vendula 1 P Osvojování slovní zásoby ve výuce angličtiny na druhém stupni základní školy Vlčková, Kateřina Stehlík, Martin 1 P Výzkum souvislostí prostorové představivosti a prostorového myšlení ve výuce zeměpisu a dalších předmětů u žáků 2. a 3. období dle RVP Novák, Svatopluk Strejčková, Dagmar 1 P Účinnost modelů mediální výchovy jako průřezového tématu RVP ZV ve výuce českého jazyka na 2.stupni základních škol Minářová, Eva Šebestová, Simona 1 P Příležitosti k rozvíjení základních jazykových dovedností ve výuce angličtiny: videostudie výuky anglického jazyka na 2.stupni ZŠ Janík, Tomáš Najvar, Petr Švehlíková, Barbora 2 P Motivace dětí k pohybové aktivitě Mužík, Vladislav Zormanová, Lucie 2 P Srovnání aktivity chlapců a dívek ve výuce občanské výchovy na základní škole Řehulka, Evžen Nominace 3 aktivních vystupujících byla provedena na základě zhodnocení všech dodaných aktualizovaných projektů disertačních prací skupinou posuzovatelů. Kritériem výběru byla kvalita projektu v kombinaci s reprezentací různých designů, metod a vědních oborů. Pro prezentaci byly vybrány projekty P. Hlaďa (kvalitativní výzkum, volba povolání a rodina, tvorba teorie), S. Šebestové (smíšený design, tvorba kategoriálního systému pro zprostředkované pozorování, jazykové vzdělávání – angličtina) a P. Plchotové (smíšený design, tvorba kategoriálního systému pro analýzu učebnic, jazykové vzdělávání – francouzština). Doktorským pracím na PdF MU a jejich kvalitě je přikládán stále větší význam. Rozhodli jsme se proto provést souhrnnou obsahovou analýzu odevzdaných disertačních projektů a jejich lektorských posudků. Projekty analyzujeme především z metodologického hlediska, tj. teoretické zakotvení, navrhovaný výběr vzorku, výzkumný design a metody v závislosti na výzkumné otázce a cíli. Zaměřujeme se na aspekty, které by mohly být pro zdárnou realizaci projektu problémové. Na příkladech naznačujeme, v čem může být projekt výzkumu posílen. Ukazujeme souvislost plánovaných i neplánovaných prvků v projektu s realizačními problémy výzkumu. Shrnujeme připomínky a doporučení lektorských posudků a uvádíme, co na projektech recenzenti oceňovali. Doufáme, že analýza nabídne doktorským studentům pohled na to, jakým metodologickým otázkám čelí jejich kolegové i oni sami. Že přispěje k tomu, aby mohli metodologickým nedostatkům snadněji předcházet již na začátku doktorského studia. Snažíme se popsat, co z metodologie a přípravy výzkumných projektů se doktorským studentům daří a co je pro ně obtížné. Tyto poznatky lze pak využít v doktorských seminářích z metodologie a posílit témata související s uvedenými metodologickými problémy. Cílem analýzy je také zvýšit obecný přínos realizovaného semináře s lektorskými posudky. 1. Účast 1.1 Školitelé Na PdF MU[3] bylo v jarním semestru 2008 vedeno asi 39 školitelů pro doktorský studijní obor pedagogika, z nichž 22 je školiteli také studentů 1. a 2. ročníku. Od 12 z těchto školitelů se zúčastnilo konference celkem 14 studentů. 1. 2 Autoři projektů Studentů DSP Pedagogika a DSP doktorského studia Pedagogika se zaměřením na oborovou didaktiku[4] bylo v jarním semestru 2008 na PdF MU 83. Z těchto 83 studentů je 33 prezenčních a 50 kombinovaných. Možnosti získat zpětnou vazbu a zároveň reprezentovat projekt a své školící pracoviště využil pouze omezený počet doktorských studentů (14 studentů z 35). Především tak činili studenti prezenční formy, a to nejčastěji v prvním roce studia (viz tabulka 2). Tab. 2: Účast studentů v 1. a 2. ročníku [5] prezenční studium kombinované studium obě formy studia zúčastnění celkem studentů zúčastnění celkem studentů zúčastnění celkem studentů 1. roč. 7 14 2 10 9 24 2. roč. 5 7 0 4 5 11 celkem 12 21 2 14 14 35 1.3 Posuzovatelé projektů Lektory projektů byli mimofakultní odborníci (D. Greger, V. Jůva , J. Slavík, I. Stuchlíková, V. Žák), pracovníci CPV (T. Janík, P. Knecht, P. Najvar, V. Najvarová, K. Vlčková) a pracovníci dalších kateder PdF MU zabývající se daným tématem nebo metodologií (S. Hanušová, J. Němec). 2. Témata projektů Odevzdané projekty byly nejčastěji oborově specifické. Nejvíce se jich týkalo angličtiny (3), po jednom projektu francouzštiny, dějepisu, zeměpisu, českého jazyka (průřezové téma mediální výchovy), občanské výchovy a fyziky. Jeden se týkal výchovy k volbě povolání. Čtyři projekty se týkaly výzkumu výuky na prvním stupni (dva výzkumu v rámci tělesné výchovy). Výzkum na druhém stupni základní školy (ZŠ) plánovalo 6 projektů, na druhém i prvním stupni 2 projekty. Výzkum na různých typech ZŠ se objevil v 1 projektu. Jeden projekt tuto informaci neuváděl. Projekty se vyrovnaně zaměřují na výzkum žáka a na výzkum učitele. 5 projektů se zaměřuje na výzkum učitele i žáka. Dva z projektů se zaměřují primárně na výzkum kurikula a učebnic, dva na didaktické prostředky. Pouze jeden projekt zkoumá také další aktéry vzdělávání – rodiče. Projekty se nejčastěji zaměřují na metody výuky apod. (projektová výuka, muzejní pedagogika, účinnost metody, experiment ve výuce), didaktické prostředky a pomůcky (analýza učebnic, mapy a podobné prostředky, portfolio), proces vyučování a učení (stereotypizace, motivace žáků, aktivita žáků ve výuce, příležitosti pro rozvoj jazykových dovedností a osvojování slovní zásoby, prostorová představivost žáků, sebehodnocení). Jeden projekt se zabývá volbou povolání v kontextu rodiny. Jedná se tedy většinou o projekty týkající se výuky, tj. mikro úrovně vzdělávání (učení a vyučování). Škola jako instituce, školské systémy, subsystémy nebo parametry těchto systémů zkoumány nejsou. To odpovídá, podle našeho názoru, zaměření Pedagogické fakulty spíše na vyučování (mikroúroveň) než na makro-procesy, oproti zaměření pedagogiky na filozofických fakultách. A zaměření pedagogiky spíše na učitele a vyučování, oproti psychologii na proces učení. Témata nejsou zpravidla zaměřena na to, co je zkoumáno v zahraničí, a na zahraniční výzkumy spíše nenavazují. Většina projektů není realizována v rámci nějaké specifické teorie (kromě 1 projektu), a pokud testuje hypotézy, jedná se o hypotézy ad hoc. Zdá se, že formulace názvu projektu může být pro autory obtížná. Podle našeho názoru název projektu nevystihuje obsah u 4 projektů, částečně vystihuje obsah u 9 projektů a dobře jej vystihuje 1 projekt. 2.1 Význam tématu projektu a jeho zdůvodnění Zdůvodnění významu realizace projektu je nezřídka podceňovanou částí projektu. Málokdy se dozvíme, proč je daný projekt hodný podpory (stipendium, pracovní zatížení školitelů, posuzovatelů, administrativy apod.). Přitom od významu projektu by se mělo odvíjet jeho hodnocení. Zdůvodnění zcela chybí u 6 projektů, částečně vyplývá z kontextu u 7 projektů. Pouze jeden projekt svůj význam dostatečně zdůvodňuje. Někdy může být význam tématu malý. Může se jednat např. o triviální výzkumnou otázku, což lze ovšem vyřešit tak, že jdeme více do hloubky a jednu otázku specifikujeme do dílčích podotázek založených na teorii. Např.: „V které fázi vyučovací hodiny je mediální výchova nejvíce efektivní.“ Zdá se, že se v projektu jednak pracuje s fázemi výuky ve starším pojetí, a jednak není zřejmé, k čemu by výsledek výzkumu mohl sloužit. Není také jisté, zda bychom vůbec něco zjistili. Dalším aspektem, který je třeba důsledně promyslet, je časový rámec pro smysluplnou realizaci projektu. Např. jeden z projektů řeší soulad současných učebnic s úrovní požadovanou RVP ZV. Projekt naráží na problém omezeného času, kdy má smysl výzkum na daném vzorku učebnic realizovat a publikovat. Učebnice mohou být aktualizovány, stejně jako kurikulární požadavky. Otázkou je, zda praktické výstupy disertačního projektu (učební pomůcky, metodický návrh), jsou součástí doktorské práce nebo až jejím následným produktem. Postoj k tomu není mezi odborníky jednotný. 2. 2 Teoretické zakotvení a východiska projektu Projekty (10) jsou málokdy dostatečně zakotvené v mezinárodním kontextu a chybí odpovídají konstrukty, které se používají v mezinárodním kontextu. U 9 projektů lze říci, že nejsou dostatečně zakotveny v teorii a v mnoha případech v ní nejsou zakotveny vůbec. Autor sice uvádí nějaké definice, ale nikoli komplexní teorii, tj. vysvětlení jevů, postulace zákonitostí nebo alespoň vztahů. Zdá se, že začínající autoři potřebují mít dostupnou informaci, co je teorie a jak ji věda vymezuje v historickém kontextu vývoje pojetí teorie. Ve 3 projektech jsou uváděny výzkumy k tématu a jejich výsledky, ale chybí vysvětlení těchto výsledků, tj. chybí výše zmíněná teorie v pozadí daných zjištění. Předchozí výzkumy neuvádějí 3 projekty. Někdy se autorům stane, že některé z teoretických předpokladů nedoloží dosavadními výzkumy. Např. dle stupně autoregulace učení se zvyšuje míra rozvoje jazykových dovedností, „experiment ve fyzice přispívá k efektivitě učení“, „nesprávně provedený a žákem nepochopený experiment může mít za následky trvalé nepochopení daného učiva“. 2.3 Operacionalizace hlavních proměnných a jejich vztahů Operační definice hlavních konstruktů, které jsou ve většině případů tzv. latentními proměnnými (projektová výuka, genderová stereotypizace, prostorová představivost, prostorové myšlení; schopnost komunikace, komunikační kompetence, znalost) a měří se prostřednictvím zjevných proměnných, je často nedostatečná. Proměnné je třeba definovat natolik přesně, aby je bylo možné měřit/zkoumat. V této fázi přípravy projektů (1. a 2. rok) by obvykle již operační definice měly být vypracovány pro většinu proměnných. Problematika latentní proměnné není v daných projektech tematizována, reflektována, ani řešena. Operacionalizace je nejčastěji pouze částečná (6 projektů). Rozhodně nedostačuje k bezprostřední realizaci výzkumu, resp. k tomu, aby mohl výzkum realizovat i někdo jiný. Jeden projet uvádí již výsledky předvýzkumu, jeden rozpracovává operacionalizaci pojmů a kategoriální systém pro pozorování na základě dat. Není zatím přesně uvedeno, jak se dané proměnné budou měřit, tj. zejména, co přesně zahrnují. Osm projektů nenabízí žádnou operacionalizaci. V jednom projektu se mají např. experimentálně ověřovat vzdělávací výsledky žáků. Cílem je doložit, že muzejní výuka je lepší než výuka v běžné třídě. Žádné techniky, metody však po roce studia nejsou uvedeny. Operacionalizace chybí. Ukazuje se, že hlavní problém působí autorům proměnné, které mají více rovin, nebo odlišné proměnné s blízkým vztahem. Např. motivace k pohybové aktivitě a míra pohybové aktivity; používání strategií a učení se používat strategie; účinnost a efektivita; efektivnost učení a vzdělávací výsledky; atd. V práci (5 projektů) není důsledně zohledněno, že na tyto proměnné lze nahlížet ve více rovinách a autoři nemají tyto proměnné ujasněné. V jednom projektu jsou jako synonyma uváděny exkurzní vyučování a výuku v muzeu, aniž by byl v textu respektován např. hierarchický vztah těchto pojmů. V jednom projektu je cílem zjistit, jak se při používání portfolia mění sebehodnocení žáka, na druhou stranu projekt uvádí jako riziko výzkumu, že „Používáním sebehodnotících listů se žáci zdokonalí v oblasti sebehodnocení“. Je třeba projekt neustále kontrolovat, zda v něm nejsou logické rozpory, zda si něco odporuje, zda se některé z cílů uvedené na prvních kapitolách postupně nevytratily, zda hypotézy vystihují cíle, zda vzorek a metody odpovídají výzkumné otázce a cílům, zda časový harmonogram prací stále odpovídá aktuálnímu stavu prací, zda vymezení proměnných je kompatibilní a logické vůči sobě navzájem. Výborným prostředkem, díky němuž si můžeme ujasnit, co zkoumáme, v jakých vztazích dané proměnné jsou, jak jsou závislosti zprostředkovávané apod., jsou schémata. Zjednodušují vztahy ve výzkumném poli a jsou velmi názorné pro čtenáře. Bezprostředně ukazují, jak se autorovi podařilo výzkumné pole uchopit. Ne všichni autoři tohoto prostředku využili. Na druhou stranu, některým autorům se nepodařilo výzkumné pole a vztahy v něm adekvátně vystihnout (3 projekty). Zdá se, že schéma autory nedonutilo k logickému znázornění vztahů, i přesto, že díky schématu jsou nelogické spoje mezi proměnnými velmi transparentní. Neujasněnost a neprůhlednost vztahů, jak je vnímá autor, se odrazila ve schématu. Tento odraz autorova pochopení vztahů ve schématu je důležitý z hlediska rozvoje projektu. Konzultant projektu snáze objeví, v čem potřebuje autor podpořit, aby se mu výzkumné pole projasnilo. 2.4 Hypotézy S hypotézami pracuje 9 projektů. V jednom z projektů je uváděno, že hypotézy se potvrzují nebo vyvrací, ve 2 projektech, že se hypotézy potvrzují. Spíše než o potvrzení nebo dokázání hypotézy, je vhodné mluvit o jejím přijmutí či zamítnutí. Např. testujeme nulovou hypotézu, že není rozdíl mezi dívkami a hochy v míře určité aktivity ve výuce. Ukáže-li statistický test, že rozdíl v aktivitě je, zamítáme nulovou hypotézu a přijímáme alternativní. Alternativní hypotéza říká, že rozdíl v dané aktivitě existuje. Naopak ukáže-li test, že rozdíl v aktivitě je neprůkazný, přijímáme nulovou hypotézu, protože se ji nepodařilo falzifikovat. Přijímání či zamítání hypotéz je spojeno s akceptací rizika, že se zmýlíme. Současná věda není normativní, ale pravděpodobnostní. Ohledně verifikace a/či falzifikace hypotéz je dodnes stále diskuse. Falzifikační model vědy pocházející od K. R. Poppera vychází z toho, že obecné hypotézy nelze v empirických vědách dokázat, verifikovat, pouze falzifikovat. Je dobré si uvědomovat logický klam zvaný argumentum ad ignorantiam (nedokazatelnost nějakého výroku znamená, že platí opak). Přestože hypotézu na základě statistických testů můžeme přijmout, i tak existuje možnost, že se v dalším testu ukáže jako neplatná. Nicméně ne všichni vědci podporují Popperův falzifikační model. Verifikace je v určitých případech podle nich možná. Jeden z projektů implicitně obsahuje hypotézy a explicitně intervenci (portfolio, sebehodnotící listy), přesto je projekt cíleně plánován jako kvalitativní šetření. Projekty mívají také příliš mnoho cílů (9 projektů). Některé cíle se nepromítají do hypotéz, nebo nejsou již dále v textu zmiňovány (8 projektů). Ve dvou projektech se objevuje zcela totožné, nesprávné tvrzení: „Vzhledem ke kauzální povaze výzkumu jsou základní „hypotézy“ a další „hypotézy“ formulovány jako nerelační tvrzení, tj. jako výroky o očekávaných závěrech.“ Věta je pravděpodobně přenesená z modelového projektu, kde bylo uvedeno, že deskriptivní výzkum z logiky své podstaty nemá vědecké hypotézy. V jednom z těchto dvou projektů hypotézy jsou, např. „Vzdělávací výsledky žáků v mediální výchově závisí na implementaci mediální výchovy.“ Jedná se o relační tvrzení samo o sobě, mluví o závislosti dvou proměnných. Implicitně může zahrnovat i nevyslovený vztah (srovnání výuky s implementací a bez implementace nebo srovnání dvou modelů implementace). Hypotéza je zatím vytvořená ad hoc a vyznívá triviálně. V druhém z projektů se objevují jak tvrzení, tak ad hoc hypotézy. Tato skutečnost naznačuje, že autoři ještě nedomysleli základní požadavky na hypotézy a není jasné, který z designů výzkumu s hypotézami pracuje a který nikoli. Kauzalita znamená nejen, že existuje vztah, ale že tento vztah je silně deterministický vztah příčiny a následku. Moderní věda kauzalitu někdy zpochybňuje. Říká, že v konečném důsledku nejsme s to kauzalitu opravdu pozorovat, pouze na ni usuzujeme a jevy kauzálním způsobem interpretujeme. Ve 4 projektech se objevují hypotézy, které se skládají z vícera dílčích hypotéz, a nelze je tudíž testovat v dané podobě: „Vliv na vzdělávací výsledky v mediální výchově má socioekonomický statut, vybavení počítačem apod., vzdělání matky, otce, navštěvované kroužky“. „Mimotřídní exkurzní vyučování dějepisu ve specifickém prostředí muzea s využitím muzejně-didaktických výukových metod a nejrůznějších forem originálních pramenů povede u žáků základních škol k lepšímu pochopení historických souvislostí a tím i ke kvalitativnímu zlepšení jejich vědomostí a dovedností.“ Formulace naznačuje, že zatím nebylo řešeno, jak budou hypotézu testovány statisticky. Proto má své opodstatnění uvádět v projektu u každé hypotézy i to, jak se bude testovat. Ad hoc hypotézy, nevystavěné na mezinárodním stavu teorie, mohou rychle a bezděčně vést k následující formulaci: “Starší žáci používají složitější vyučovací prostředky a mladší žáci jednodušší.“, “Používání je vyučovacích prostředků je závislé na rozsahu škály aktivovaných motivátorů a stimulů.“ Je otázkou, nakolik žáci v běžných základních školách rozhodují o tom, prostřednictvím jakých vyučovacích prostředků se budou ve škole učit. A poté, zda první hypotéza v základní formulaci nevyznívá triválně, že s rostoucím věkem žáka lze používat složitější didaktické prosředky. Je nutno jít více do hloubky problému a formulovat např. dílčí, specifické hypotézy vycházející z teorie. Pokud zjistíme, že naše výzkumná otázka (např. „Mění se objem a intenzita pohybových aktivit v závislosti na vyučovací činnosti učitele?“) nebo hypotéza (např. „Objem a intenzita pohybových aktivit žáků ovlivňuje úroveň jejich zdravotně orientované zdatnosti.“) je formulována tak, že vyznívá triviálně, lze situaci snadno řešit. Hypotézu specifikujeme rozdělením do dílčích hypotéz (např. na aspekty zdravotně orientované zdatnosti). Problém ad hoc hypotéz se objevuje také v projektech, které mají jako jendu z hlavních hypotéz, že muzejní vyučování vede k lepším vzdělávacím výsledkům než v běžné třídě, nebo že projektovou výukou se dosahuje lepších znalostí žáka než běžnou výukou. Triviálně také zatím může vyznívat otázka, zda vedení portfolia jako sebehodnotícího nástroje má vliv na dovednost sebehodnocení. Dalším problémem je, že tuto výzkumnou otázku plánuje autor řešit kvalitativně. Možným řešením je zaměřit se na proces vývoje sebehodnocení, zvážit použití dalších technik, např. projektivních v rámci sebehodnotících listů. Jsou i další možnosti, jak řešit triviálně vyznívající výzkumnou otázku. Např. pokud by výzkumy ukazovaly nefunkčnost portfolia obecně nebo u dětí mladšího školního věku nebo za určitých podmínek, můžeme funkčnost za těchto podmínek ověřovat, a to v kvantitativním designu. Jeden projekt uvádí jako hypotézu deskriptivní tvrzení „Ve fyzice se provádí málo experimentů.“, „Učebnice fyziky nepodporují dostatečně experimenty.“ Problém s těmito tvrzeními je, že není jasné, co je málo, co je dost, co je dostatečně a co již nikoli a kdo to má posoudit. Vědecké hypotézy vyjadřují vztah např. dvou jevů (rozdíl, shodu, kauzální vztah, přímou úměru apod.). Tyto zobecňující hypotézy navíc plánuje autor testovat na dostupném výběru, kde není adekvátní jakákoli zjištění poté zobecňovat. 2.5 Prameny Ne vždy jsou prameny citovány důsledně dle platné české citační normy (6 projektů). Také v textu jsou někdy uváděny předpoklady (např. že určitá metoda vede k lepším znalostem žáků), ale nejsou uváděny žádné odkazy na autory, kteří danou skutečnost zjistili. Ne vždy jsou uváděni autoři, kteří daná tvrzení v textu zjistili nebo zjišťovali (4 projekty). Tvrzení jsou tedy, zdá se, formulována na základě vlastních či/a sdílených pocitů, domněnek a přesvědčení. Významným problémem také je, pokud autoři, když odkazují na výzkumy, neuvádí míru relevantnosti závěrů citovaného výzkumu. Relevantnost je dána výběrem vzorku a dalšími jeho parametry (např. velikost, reprezentativnost), použitými statistickými technikami, aplikovanými metodami atd. Jeden projekt využívá technik dvou známých autorů, nicméně je přetváří a nezabývá se tím, jak tyto změny budou působit na reliabilitu techniky. Také oba autoři nejsou řádně citováni. Není uveden rok, kdy byla jejich technika publikována. Na relevantní zahraniční i české zdroje odkazuje, podle našeho názoru, 7 projektů. Relativně rozsáhlý počet odkazů se objevuje u 6 projektů, naopak zcela nedostatečný počet odkazů u 5 projektů. Relevantní literaturu, na jejímž základě může být projekt vystavěn, uvádí 2 projekty. Zdroje uvedené k vystavění projektu nejsou dostatečné u 5 projektů. Žádné zahraniční zdroje neuvádí 3 projekty, byť u jednoho z nich je technika, kterou autor používá, převzata ze zahraničí. V jednom projektu jsou uváděny pouze 3 relevantní zdroje, a to pouze základní texty v češtině. Zbylé jsou obecné slovníky. Celkově projekty neuvádí specializovanou metodologickou literaturu k dané metodě či technice, kterou plánují používat. V České republice je takovýchto publikací poskrovnu, tudíž je třeba sáhnout do zahraničních nakladatelství. Jedná se o publikace k různým typům experimentálního designu, k tvorbě dotazníku a jeho statistickému vyhodnocování, k jednotlivým statistickým technikám atd. Pokud je plánován např. experimentální design (5 projektů), nelze se obejít bez odkazů na metodologické knihy popisující specifika různých typů experimentálních plánů a další důležité informace. České obecné metodologické publikace nestačí. Podobně je tomu u dotazníků a jiných plánovaných metod. Není také adekvátní odkazovat na autory přímou citací bez uvedení strany a dokonce celého zdrojového textu jako např.: „Stanislav Velinský píše: „Výrazu projektová metoda lze užíti tehdy, když individuum či skupina pojme záměr, jehož uskutečnění navozuje změny v jeho (jejich) vědění, zručnostech, zvycích či vztazích.“ Také nelze odkazovat na autory bez uvedení díla a roku vydání. 3. Metodologická stránka projektů Odevzdané projekty jsou přínosné a řeší podstatná témata. Některé projekty jsou srovnatelné s disertačními výzkumy realizovanými v zahraničí a v dalších sociálních vědách u nás. Celkovou metodologickou úroveň však nelze zatím srovnávat s prestižními doktorskými výzkumy v sociálních vědách v západních zemích. Žádný z projektů nelze zatím přímo označit za mimořádný, výrazně inovativní či objevný a netradiční. Nicméně u 3 z těchto projektů lze podle našeho názoru říci, že mají prostor tímto směrem jít a další se tímto směrem mohou zaměřit. Obecně lze říci, že projekty z prvních ročníků měly slabší metodologické zázemí než projekty v druhých ročnících. 3.1 Design výzkumu Komplexní design výzkumu se objevuje zřídka, spíše se jedná o design, který je neprůhledný a komplikovaný (5 projektů). Design je tak obsáhlý, že jeho realizace v dostatečné kvalitě a hloubce je spíše pro tým výzkumníků než 1 badatele (7 projektů). Komparační design se objevuje pouze v jedné studii (srovnání genderové stereotypizace ve výuce angličtiny a fyziky). Jako longitudinální výzkum jsou plánovány 2 projekty. Jeden se zabývá sledováním žáků během jednoho školního roku, nicméně to přímo nevyplývá z textu a autoři to neuvádí. Druhý je kvalitativní. Historické studie, teoretické studie nejsou plánovány. Jako (kvazi)experimentální je plánováno 7 projektů. Dva projekty plánují ověřovat vliv vyučovacího prostředku, ale jen mezi dalšími metodami; a jeden metodu, ale celý design výzkumu je tak obsáhlý, že experimentální design blíže nespecifikují. Jako hlavní problém při experimentálním designu lze označit neobeznámenost autorů se specifiky tohoto designu, zejména výběrem vzorku a kontrolou proměnných. Jeden z experimentálních designů je neprůhledný, mluví se o případové studii školy, třídy, zároveň se objevují rysy experimentu, mluví se o smíšeném designu atd. Jeden z experimentálních designů tak označovaný není a projekt je plánován jako kvalitativní šetření. U jednoho z experimentů si autor, zdá se, neuvědomuje, že pánuje experimentálně ověřovat výsledky vzdělávání (ověřovat účinnost fyzikálního experimentu ve výuce) a neuvažuje o základních podmínkách výzkumu, jako je odpovídají experimentální plán, randomizace, kontrola proměnných, časová náročnost tohoto šetření, které plánuje jako jedno ze tří obsáhlých šetření. Jeden z experimentů není po roce studia popsán. Tři z těchto projektů plánují experimentální design v kombinaci s příliš mnoha cíli deskriptivně relačního charakteru zajišťovanými nejrůznějšími metodami. Pokud je plánováno zkoumat proměnné, které ovlivňují zkoumanou proměnnou, je tak plánováno ex-post facto, přes různé metody, nejčastěji dotazník (4 projekty). Deskriptivně-relační charakter má 5 projektů. Převažuje deskriptivní podoba výzkumu doplněná zjišťováním vztahů. Zjišťované vztahy nejsou vždy podloženy předchozí teorií a vyvstává proto otázka relevantnosti ad hoc hypotéz (9 projektů). Relační design má 1 projekt. Čistě deskriptivní design je plánovaný u 3 projektů. Nicméně implicitně je zřejmé, že u jednoho z těchto projektů je možné zjišťovat vztahy. Jeden z projektů plánuje zjišťovat vztahy kvalitativně. Jeden z projektů uvádí, že je kvalitativní, nicméně dle uvedených metod i cílů, jej lze považovat spíše za smíšený. Jeden projekt se hlásí ke kvalitativnímu designu (zakotvená teorie), což ne zcela odpovídá jedné z jeho hlavních výzkumných otázek. Druhý projekt hlásící se kvalitativnímu výzkumu, má hlavní část a kontext kvalitativně pojatý, nicméně používá i typicky kvantitativních metod sběru dat, jako jsou standardizované testy. Tento projekt jako jediný zároveň uvádí, že se jedná o vícečetnou případovou studii. Dva z projektů se hlásí ke kvantitativnímu designu, nicméně jeho základní pravidla příliš nerespektují (výběr vzorku je dostupný, přesto u jednoho z nich v cílech je uvedeno zjistit něco o českém školství). Projekt se tak blíží riziku přílišného zevšeobecňování neodpovídajícímu výše uvedeným metodologickým limitům daného výzkumu. Smíšený design uvádí 6 projektů. Typ designu neuvádí 1 projekt, nicméně dle popisu se jedná pravděpodobně o smíšený design. Jeden projekt sestává z více výzkumných šetření, není však uvedeno, zda jsou sekvenční, paralelní nebo vnořené. 3.2 Základní a výzkumný soubor Metaanalýzy se nevyskytují, podobně se nevyskytuje práce s velkými soubory dat z mezinárodních výzkumů. Tři projekty staví na databázi dat, která je využívána pro více dílčích výzkumů (CPV videostudie angličtiny), tj. nemusí si sbírat vlastní data, což lze považovat za velkou výhodu a určitou garanci kvality dat. Jeden projekt, zdá se, bude dat CPV využívat, ale neuvádí to. Základní soubor je specifikován v 6 projektech, a to poměrně vágně jako např. základní školy v Brně a okolí; Hradiště; Brno a další školy; Jihomoravský kraj bez udání jaké základní školy. Není uvedeno, zda půjde o úplné základní školy, o školy s určitým vzdělávacím programem, veřejné či i soukromé a co je to okolí Brna a co již ne. U jednoho projektu tvoří základní soubor všechny školy v ČR, kde se učí francouzština, podle určitých učebnic, není uvedeno, jak budou školy do vzorku vybírány. V tomto šetření není nutné zkoumat všechny školy, ale zvážit vhodnou formu výběru (viz další bod). Výběr vzorku bývá tematizován, ale zdá se, že si autoři zatím nejsou vědomi všech zásadních důsledků volby výběru vzorku. V některých projektech se autoři nad výběrem a jeho dopady nezamýšlí. Pouze tři autoři pracují v části svých výzkumů s náhodným výběrem (CPV videostudie angličtiny), který jim umožňuje zobecňovat výsledky na vybrané regiony ČR. Závěry z ostatních výzkumů nevypovídají o někom či něčem jiném než o zkoumaných subjektech (jedinci) a objektech (učebnice, vyučovací jednotky). Jeden autor plánuje náhodný výběr na úrovni školy a třídy, nikoli však již randomizaci do experimentálních skupin. O homogenitě skupin se nehovoří. Dostupný výběr vzorku se bez jakéhokoli uvažování o dopadech tohoto způsobu výběru objevuje u 6 projektů. Např. Hradiště, Brno a další školy; nebo Brno a okolí; škola v Brně a Blansku do experimentu; muzea; fakultní školy z Brna. Dostupný výběr (1 třída) je plánován pro jeden kvalitativní projekt. V jednom z těchto projektů je dostupný výběr plánován, mluví se o tom, že se data budou sbírat. Z kontextu se však zdá, že projekt využívá již sesbíraných dat CPV videostudie fyziky. Zdroj je nutno uvádět, jinak se jedná o porušení autorských práv. Jeden projekt výběr neuvádí, ale zdá se, že se bude jednat o dostupný výběr. Záměrný výběr a dostupný je plánován u 3 projektů. Jeden z nich je kvalitativní, postavený na principu saturace dat a typických případech. U jednoho z projektů je třeba dát pozor na výběr vzorku z hlediska statistického testování dat. Výběr je realizován tak, že je vybrána vždy jiná škola zásadně odlišná svým zaměřením. Není jasné na co je zobecňováno, zda jsou rozdíly mezi školami cílem testování. Aby školy mohly reprezentovat základní soubor, musely by být proporčně vybrány do vzorku. Výběr tříd ze škol by měl být náhodný. V projektu není uvedeno, zda byly ve vzorku všechny třídy nebo jak se třídy vybíraly. Výběr vzorku je také mnohdy nevhodný pro výzkumnou otázku. V jednom projektu např. v kombinaci s velikostí vzorku: třídy 6.- 9. pro porovnávání dívek a hochů v míře aktivity ve výuce. Je otázkou, zda se zkoumaná míra aktivity nemůže lišit v ročnících, a tudíž, zda je vhodné shrnout data do jednoho souboru (nebylo uvedeno, že by bylo plánováno srovnávání ročníků). Nebo např. u zjišťování efektivity didaktických prostředků při rozvoji prostorové představivosti a myšlení v experimentu. Velikost vzorku bývá obvykle uváděna, ale ne vždy. Jednotkou analýzy jsou žáci, učitelé, třídy, vyučovací hodiny, učebnice atd. Plánovány jsou vzorky jako 29 tříd, přes 400 žáků, 300 žáků, 300 osob, 1 třída, 13 učitelů v 62 vyučovacích hodinách a 25 učitelů v 79 vyučovacích hodinách, učebnice, 100 žáků pro videostudie apod. Velikost vzorku nebývá metodologicky zdůvodněná a argumentovaná tak, aby bylo možné posoudit relevantnost velikosti výběru. Velikost vzorku neuvádí 4 projekty, přičemž u jednoho je uvedena velikost vzorku pro část výzkumu, nikoli pro druhou část. Zajímavé je, že 4 experimentální projekty shodně bez jakéhokoli adekvátního metodologického zdůvodnění uvádí, že vzorek bude tvořit 200 osob (jeden uvádí 120 osob). Vypadá to jako by existovala nějaká učebnice experimentálního designu, která by toto navrhovala nebo modelový projekt, z něhož by počet byl mechanicky přenesen bez metodologické argumentace a kontextu. Jeden projekt uvádí, že vzorek bude 200 žáků na zjišťování výsledků vzdělávání (pomocí experimentu), přičemž se budou vybírat školy dle typu školy (sídlištní, církevní, městská, vesnická). Logika výběru není jasná. Budou se školy porovnávat? Není proveden náhodný výběr, nelze tudíž zobecňovat. Zdá se spíše, že se školy porovnávat nebudou a že výsledky budou prezentovány za celek těchto škol. Výsledky pak proporčně o českých školách nebudou vypovídat. Zvolený výběr tedy ztrácí své opodstatnění. U nepřímého pozorování mají autoři naráží autoři někdy na problém, co je jednotkou analýzy. Je to vyučovací hodina, učitelé, žáci nebo sekvence výuky? V projektu je pak např. uváděno, že zkoumáni budou žáci a je uváděn počet zkoumaných žáků, nicméně sledována je činnost učitele. Již realizovaný výběr vzorku nebyl proveden na základě počtu žáků, ale na základě počtu učitelů a vyučovacích jednotek. Žáky prvního stupně (nebo 2. - 5. třídu) plánují zkoumat 4 projekty. 3 projekty jsou plánovány s více ročníky, aniž by bylo cílem průřezově srovnávat vývoj nějakého jevu. Zdá se, že projekty plánují data z ročníků slučovat pro analýzy, aniž by byly reflektovány možné rozdíly mezi ročníky (v míře pohybové aktivity, míře aktivity ve výuce atd.) a limity realizovatelnosti projektu. Opět se jedná o problém s jednotkou analýzy. Jeden projekt v názvu uvádí, že bude zkoumat žáky 3. až 5. ročníku, pak ale v popisu vzorku stojí, že bude sledovat 1 třídu během 1 školního roku. Zachování logiky projektu by měl autor neustále ověřovat. Druhý stupeň, tj. 6.- 9. třída je zkoumána v 5 projektech. Druhé a třetí období dle RVP ZV v jednom projektu. Ve dvou projektech není uvedeno, jaké věkové skupiny budou zkoumány. U jednoho se však zdá, že se jedná o druhý stupeň. První i druhý stupeň základní školy má zkoumat jeden projekt. Pokud je uváděno více metod výzkumu, není vždy zřejmé, zda bude použito více metod na stejném vzorku dat či na jiném (8 projektů). Pokud na jiném vzorku, nebývá diskutováno, do jaké míry jsou data srovnatelná, a zda je lze ještě dávat do vztahu. Ověřit účinnost nějaké metody obvykle nelze obvykle bez randomizace (znáhodňovaného výběru do skupin). V 1 projektu došlo k překlepu a randomizace je definovaná jako „znárodňovaný výběr do skupin“ a je uvedeno, že „výběr bude změrný“. Problém randomizace se objevuje u 6 projektů. 3.3 Metody sběru dat Metody sběru dat jsou v projektech uváděny téměř vždy (kromě dvou projektů), ale obvykle stále jen v hrubých nárysech s mnoha realizačními otazníky a problémy. Standardizované techniky, u nichž jsou známy a pospány jejich vlastnosti, se vyskytují pouze ve 2 případech. V 1 projektu je uvedeno, že bude použita standardizovaná technika pozorování. Nicméně Flandersův systém interakční analýzy (FIAC) je natolik pozměněn, že již nelze v projektu hovořit o aplikaci techniky FIAC. Jeden projekt plánuje techniku standardizovat, nicméně metodologie projektu je chaotická. Je plánováno zjišťovat efektivitu, aniž by se nějak měřily výsledky. Projekt také plánuje užití experimentu bez toho, že by byly zapracovány poznatky z literatury věnované (kvazi)experimentálnímu designu. O náhodném výběru nebo randomizace do skupin se neuvažuje. Použití metod je nejasné. 2 projekty jsou plánované jako jedno-metodové. Jeden z nich v kvantitativní tradici s použitím přímého pozorování. Ovšem jedná se o pozorování aktivity žáků pouze s audiozáznamem. Použití audiozáznamu u pozorování může být nevyhnutelné, pokud učitelé nesouhlasí s videozáznamem nebo by videozáznam narušoval průběh vyučovacích hodin. Je však na pováženou, jestliže chceme sledovat právě aktivitu žáků (např. kolik žáků se hlásí atd.). Druhý z projektů postavených na jedné metodě je s nepřímým pozorováním (videozáznamem). Jedná se spíše o smíšený design s doplňkovým, okrajovým využitím dotazníku při sběru dat videodat zejména pro jejich validizaci. Jako multi-metodové jsou plánovány 4 projekty, ať již v kvantitativní tradici, či kvalitativní. Nejvíce je plánováno použít 7 - 8 technik: projektivní techniky (kresba, nedokončené věty), sémantický diferenciál, psychotest, experiment, rozhovor, dotazník. Implicitně je však zahrnuto také pozorování. Projekt je v souladu s tím zaměřen na mnoho cílů a použití metod není zcela jasné. Není jasné, co je třeba zjišťovat a jak. Cílů je mnoho. Podobně je tomu u 1 dalšího projektu. Objevují se také tyto kombinace metod: didaktický test, dotazník, skupinové interview, pozorování (experimentální design); dotazník, telefonické dotazování, obsahová analýza učebnic; dotazník, testy, interview; pozorování, interview, pracovní listy, portfolio – obsahová analýza dokumentů. Dále videostudie, experiment, obsahová analýza. V tomto projektu nejprve není uvedeno, čeho se obsahová analýza týká, poté se dovíme, že učebnic. Design se zatím jeví jako nevyzrálý. V dalších projektech je kombinace metod následující: rozhovory, psychotesty, ohniskové skupiny, obsahová analýza, anamnéza; interview, pozorování, didaktický test, experiment; nepřímé pozorování, dotazník, ohniskové skupiny; nepřímé pozorování, obsahová analýza, dotazník nebo interview. V jednom projektu nejsou metody vůbec popsány, je uváděn pouze experiment bez dalšího popisu. Na základě cílů však můžeme usuzovat na potřebu použití např. obsahové analýzy, interview a didaktického testu. V jednom dalším projektu metody sběru dat také nejsou uvedeny, nicméně je zmíněno, že projekt je součástí CPV videostudií, tudíž lze předpokládat, že se jedná o nepřímé pozorování a doplňující dotazník. Další z projektů řadí běžné metody sběru dat jako dotazník, interview, pozorování, experiment, obsahová analýza, didaktický test (pretest, post-test) mezi „metody zpracování dat“. V jednom z projektů je navržena projektivní technika kresby ke zjištění proměnných ovlivňujících motivaci k pohybové aktivitě u dětí. Použití této techniky není dále specifikované a je nejasné. Jeden z projektů je velmi blízko zaměňování termínu metodika hodnocení a metodologie zkoumání, metody výzkumu/zjišťování. Vztah pojmů metoda a technika není ujasněn a není s ním pracováno jednoznačně. Samozřejmě v odborné literatuře se autoři rozchází v tom, jak vymezují metodu vůči technice. V rámci jedné práce je však třeba, aby používání termínů bylo stále stejné. V odborném jazyce je dobré nehledat ze stylistických důvodů pro text synonyma. Je preferováno přesné a jednoznačné vyjadřování. Synonyma v pravém slova smyslu v podstatě neexistují a odborné termíny jsou obvykle vázány na kontext svého vzniku a nezřídka na určitý proud myšlení či filozofickou školu. Obvykle se předpokládá, že výzkumné designy v pedagogice stojí příliš často výlučně na dotaznících. Analýza těchto 14 projektů ukazuje, že u nich je tomu jinak. Velmi časté je pozorování. Jako hlavní metoda je navrženo u 5 projektů. U dalších jako jedna z metod nebo pomocná metoda. Často je plánován také experiment (7 projektů). Použití dotazníku je plánováno také často, ale obvykle jako jedna z metod, či jako doplňková metoda. 3.4 Metody zpracování a analýzy dat Šest projektů má již sebíraná data, z toho 3 částečně. Většina projektů neuvádí, jaké metody zpracování dat budou použity (9 projektů). Jejich uvedení předpokládá mimo jiné hlubší znalost pedagogické a jiné metodologie, zejména pak obvykle minimálně základů statistiky. Neplánování nebo nepřesné plánování metod zpracování dat je pro projekt problematické, neboť metody zpracování dat determinují nejen metody sběru dat, ale jsou také silně vázány na výzkumnou otázku, výběr vzorku, formulaci hypotéz, operacionalizaci proměnných. Například, pokud u dotazníku nenaplánujeme, jaké hypotézy budeme testovat a pomocí jakých metod, dostaneme se s velkou pravděpodobností do situace, kdy dotazník půjde obtížně zpracovat a možná v něm odpovědi na později formulované ad hoc hypotézy nenalezneme. Dva projekty uvádí, že data budou zpracovávána pomocí zakotvené teorie. Ve třech projektech z hypotéz pro čtenáře znalého testování může implicitně vyplývat, jaké testy lze aplikovat. Nicméně to není jisté. Neznáme velikost vzorku, postup výběru, plánované úrovně proměnných, na kterých budou data sbírána. V jednom projektu je uvedeno, jak se základní hypotézy budou testovat, a to v případě normálního i ne normálního rozložení dat, včetně toho, jak se bude normalita rozložení dat zjišťovat vzhledem k nízkému počtu subjektů. U dvou projektů nejsou metody analýzy dat uvedeny, pouze, že budou zpracovány statisticky. Jedenkrát jsou metody zpracování dat uvedeny. Bude se jednat o četnosti. Úroveň proměnných (nominální, ordinální, intervalová, poměrová) není v operační definici proměnných zatím uvedena v žádném z projektů, kde by bylo vhodné, aby uvedena byla (případ testování hypotéz). Specifikace úrovně proměnné je součástí finální operacionalizace. Například v přípravě dotazníku mohou z požadované úrovně proměnné vyplývat požadavky na formulaci položky. Podle úrovně proměnné je volena statistická technika. A naopak, určité analýzy, které plánujeme realizovat, nelze provést s nižším typem proměnných. Jeden projekt specifikuje, kterou proměnnou chápe jako závisle proměnnou, kterou jako nezávisle proměnnou. 3.5 Reliabilita, validita Ve většině projektů tato otázka není dosud řešena (12 projektů). Jeden projekt mluví o shodě posuzovatelů v pozorování, používá Cohenův koeficient kappa. Mezi problémy reliability a validity patří také interpretace výsledků. Někdy není jasné, zda se jedná o autorův názor nebo výzkumné zjištění nebo zda jde o názor jiného autora nebo výsledek jiného výzkumu (2 projekty). Ke výšení validity a reliability výzkumu slouží také předvýzkum. Realizován byl u 1 projektu, plánován je u 1 projektu. Nezmíněn je u 12 projektů. 4. Prezentace projektu, výstupy Počet uváděných výstupů je mnohdy přeceněn a nejsou uváděny s přesným časovým harmonogramem. Mnohdy také výstupy neodpovídají tomu, že se jedná o vědecký projekt a nabízejí jako hlavní výstup praktický návrh, který by měl být spíše až následkem disertační práce. Ale názory odborníků na to se liší. Jeden projekt prezentuje již i výsledky předvýzkumu a výzkumu. Publikace v zahraničí není plánovaná nebo uvedená u 13 projektů. Publikace v českém odborném pedagogickém časopise (Pedagogika, Orbis scholae) není plánována u žádného z projektů. Plán publikovat v zahraničí uvádí jeden projekt (Polsko). Objevuje se také formální popis výstupů bez specifikace podle vzoru modelového projektu (3 projekty). Jeden projekt výstupy nepopisuje a uvádí: „Výsledky provedeného pedagogického výzkumu budou využity při zpracování disertační práce na téma Muzejní pedagogika v dějepisném vyučování. Předpokládá se také spolupráce s některými muzejními institucemi.“ V projektu nedošlo k porozumění, co se pod výstupy chápe. Tautologicky je uváděno, že výstupy projektu slouží projektu. Plánovaných výstupů je málo a nejsou specifikovány. Je uvedeno pouze, že se výsledky budou publikovat, což je samozřejmostí. V doktorském studiu nelze výsledky nepublikovat. 5. Napojení na výzkumné projekty a financování Napojení na projekt tzv. centra výzkumu uvádí 3 projekty, na výzkumný záměr 3 projekty. Vlastní fakultní grant uvádí 1 projekt. Jeden projekt nějaké napojení naznačuje, ale není to jasné. Napojení na projekt není uvedeno u 4 projektů. To, že plánují vlastní fakultní grant, je uvedeno ve 3 projektech. Financování je uváděno formálně. 6. Formální úroveň projektů Grafická úprava téměř všech projektů je dobrá. Nicméně v mnohých projektech se objevuje problém s pravopisem a citací literatury. Vyskytují se gramatické chyby, velký problém činí psaní čárek ve větě (3 projekty). Objevují se překlepy (2 projekt), které je možno odstranit automatickou funkcí Wordu pravopis. Na velmi dobré pravopisné úrovni je jeden projekt. Dva projekty nesprávně odkazují v textu. Většina má nějaký problém s citační normou. Normativní až dogmatické formulace se vyskytují u 3 projektů. Např. formulace jako výzkumy něco „jednoznačně potvrdily“. Věda funguje spíše kriticky a pravděpodobnostně. Rozsah projektů se pohybuje od 6 do 23 stran, nejčastěji 9 stran, průměrně kolem 11 stran. Za detailní lze označit 2 projekty. Zdá se, že projekty s nejmenším rozsahem (6 stran) byly nejméně metodologicky i teoreticky rozpracované. V projektech jsou velké rozdíly co do jejich kvality, jak koncepční, tak co do rozpracování. Dobrou formální úroveň má 5 projektů. Anglické názvy a klíčová slova ne vždy odpovídají tomu, jak je problém pojmenováván v mezinárodním kontextu (6 projektů). V jednom projektu z důvodu jazykové nevybavenosti, na niž usuzujeme z chyb v názvu práce, klíčová slova chybí. U daného projektu je i minimum odkazů na zahraniční literaturu. Je možné, že si autor nenechal dostatek času na zpracování projektu, nicméně se jedná o průběžnou aktualizaci projektu, takže by měl být projekt zdokonalen jako ostatní odevzdané projekty. Obzvlášť, když autor je ve 4 semestru prezenčního studia. Klíčová slova v angličtině je třeba dohledat v zahraniční literatuře a případně požádat někoho z oboru znalého angličtiny o kontrolu překladu. Jazyková vybavenost je předpokladem doktorského studia. V jednom projektu je autorka prezentována jako muž (Inhedlerem místo Inhelderovou). Jedná se o problém jazyků bez ženských koncovek u jmen. Tato jména také nelze automaticky převádět do češtiny jako mužská, pokud ve zbytku textu ženskou koncovku u příjmení používáme. Je třeba si zjistit, zda je autor žena či muž, pokud se tedy nejedná o základní znalost z psychologie, jako je tomu u Inhelderové, spolupracovnice Piageta. Časový harmonogram projektu jsme neanalyzovali. Možným problémem by mohlo být uvedení aktivit bez termínů realizace a příliš obecný popis. Bez pomoci školitele může začínající autor stěží vědět, jaké fáze či činnosti ho čekají a jak jsou časově náročné. Nicméně časový harmonogram má velký význam, protože lze díky němu řídit i kontrolovat postup prací. 7. Posudky na projekty Posudky na projekty byly velmi cenné, přínosné, konstruktivně vystavěné a chápající kontext vzniku daných výzkumných projektů. V celkovém hodnocení byly většinou příznivé, nicméně vždy dávaly doporučení pro další, pozitivní rozvoj projektu. Jeden z posuzovatelů odmítl projekt nejprve posuzovat vzhledem k jeho nízké formální úrovni, po úpravách byl projekt přijat k lektorování. Doporučení a upozornění z lektorských posudků nyní zmíníme. Dělíme je do bodů týkajících se teorie, východisek, výzkumných otázek a literárních zdrojů (1), metodologie (2), formálních doporučení a nedostatků (3), zdařilých aspektů projektů (4). 7.1 Výzkumné téma, otázky, hypotézy Na triviálnost některé výzkumné otázky bylo poukázáno u 1 projektu. Doporučení specifikovat cíle, otázky se vyskytlo přímo také u 1 projektu. Recenzent upozornil také na náročnost projektu z hlediska velkého počtu výzkumných otázek (1 projekt) a na náročnost řešení a stanovených cílů (1 projekt). Na předimenzovaný obsah a rozsah výzkumu a obtížnou realizaci poukazoval 1 recenzent. Časté bylo poukazování na problémy s operacionalizací. Jednalo se o nevymezení proměnných dostatečně a neuvedení, co se opravdu zkoumá (6 projektů). Poukazováno bylo na problém pojmů a jejich nejednoznačnosti, neujasněnosti, nedostatečného definování. Recenzenti naznačovali nezkušenost v práci s pojmy a doporučovali terminologické sjednocení a teoretické propojení pojmů (6 projektů). U jednoho projektu bylo také doporučeno používat ustálené termíny, pokud odpovídají tomu, co chce autor zkoumat. U dalšího projektu bylo doporučeno zvážit učiněný výběr určitého termínu oproti jinému vhodnému termínu a místo kritéria „používán častěji“ se přiklonit k určitému konceptu/teorii, v jejímž rámci se termín používá. Na problém s operacionalizací bylo také jedenkrát poukázáno z hlediska adekvátního nasycení stanovené proměnné, k němuž operacionalizace nevedla. U jednoho projektu se některá témata a kapitoly vzhledem k těžišti projektu recenzentovi jevila jako okrajová. Nebo bylo uváděno, že výzkumné otázky se zkoumané problematiky týkají pouze okrajově a recenzent je považoval za nadbytečné a rozmělňující hlavní cíl výzkumu (1 projekt). Na nesoulad úvodních kapitol a dalších např. metodologických kapitol a na nesoulad cílů a výzkumných otázek poukazoval další recenzent. Na problém s formulováním nulových hypotéz poukazoval jeden recenzent. Jiný naopak doporučoval v daném výzkumu vycházet spíše z nulových hypotéz a nepředpokládat a priori, že genderové stereotypy, což je téma výzkumu, ve výuce existují. Recenzent také doporučoval z některých hypotéz vypustit „stupňování“ přívlastků (např. „závažnější“). „Pak by musela autorka stanovit určité hranice mezi významy pojmu nezávažný – závažný – závaznější atd.“ Důležitý pro výzkumné projekty je „tah na branku“. Jeden recenzent upozorňoval na hypotézy, které se zkoumané problematiky týkají pouze okrajově, některé z hypotéz se jí nedotýkají vůbec. Bylo upozorňováno na triviální hypotézy, nezakotvené v teorii a předchozích výzkumech (1 recenzent). Recenzenti doporučovali uvádět dosavadní relevantní výzkumy (1 recenzent) a odkazovat na zahraniční výzkumné zdroje (2 recenzenti). Často byly zmiňovány nedostatky v rešerši tématu a jeho zakotvení do dosavadního poznání, zejména zahraničního (6 projektů). Na redukci modelu s opomenutím určitých aspektů a proměnných recenzenti také upozorňovali a doporučovali zavedení těchto proměnných nebo jejich vztahů do modelu (3 projekty). Konceptuální problém, jak se bude metoda/intervence vázat k cílům výzkumu a neprovázanost cílů zmiňovali 2 recenzenti. Jeden recenzent uvedl, že nekorespondují cíle a metody/popis projektu. Jeden recenzent poukazoval na problémy s konceptualizací výzkumného tématu, které se promítly do hypotéz a metod výzkumu. Název projektu nebyl propojen s obsahem u 3 projektů. Jedno z řešených témat se již déle řeší v zahraniční, proto recenzent upozornil na vyšší očekávání vůči výsledkům tohoto projektu. 7.2 Metody výzkumu, vzorek Na nevhodný kategoriální systém nebo problém v kategoriálním systému poukazovali dva posudky. Jeden recenzent doporučoval triangulaci u zjišťování údajů od dětí mladšího školního věku o jejich motivaci. Objevilo se také doporučení realizovat navazující studii (follow-up studii) pro ověření stability výsledků (1 projekt) či doporučení ověřit výsledky experimentem na menší skupině (1 projekt). Poslední doporučení může být diskutabilní vzhledem k požadavkům experimentálního designu na skupiny. Doporučení opakovaných měření se objevuje pro jednu experimentální studii. Na nejasný plán vzorku a realizaci výzkumu poukazuje 1 recenzent. Objevují se také doporučení změnit celkový design výzkumu, případně metodologický přístup k výzkumu. Doporučení zkoumat téma místo kvantitativně kvalitativně nebo ve smíšeném designu se objevuje jedenkrát. V daném projektu je plánováno ověřovat efektivitu, což může být podle našeho názoru typické téma, které v optimální podobě vyžaduje kvantitativní design s kontrolou intervenujících proměnných a reprezentativním vzorkem. Mnoho realizačních obtíží však může být spjato s randomizací. Jednou se objevilo doporučení nahradit kvalitativní design za kvantitativní a jednou kvalitativní na smíšený. Jednou kvantitativní za kvalitativní se závažným zdůvodněním, zda autor bude s to „shromáždit analogický typ a množství dat z typicky „mužských“ a „ženských“ předmětů“, které chce srovnávat. Na problém kontroly intervenujících proměnných v (kvazi)experimentu, nezohlednění intervenující proměnné poukázali 3 recenzenti. Na nejasný popis metod 2 recenzenti, teoretické neukotvení postupu a metod 1 recenzent, na nejasnost designu (případová studie nebo experiment) 1 recenzent, na nedostačující vzorek 1, nedostatečně popsaný výběr 1. Zaměřit se na metodologii doporučili 3 recenzenti. Otázku, jak zajistit reliabilitu a validitu, zmiňovali 2 recenzenti. Problém zajištění objektivity, jelikož je výzkum postaven na subjektivním hodnocení autora projektu, 1 recenzent. „Cvičná“ analýza nahrávek, tj. předvýzkum, je doporučena jednomu projektu. Jeden projekt je také upozorněn na nebezpečí nedostatečné saturovanosti dat pro tvorbu teorie. A jeden na problém „rozpovídaní“ žáků jak u interview, tak u ohniskových skupin, kterými chtěl autor tento metodologický problém interview vyřešit. 7.3 Formální stránka projektů Na neadekvátní překlad slov do angličtiny byli upozorněni dva autoři projektů. Na obsahově závažné překlepy 1. V jednom projektu upozornil recenzent na 25 pravopisných chyb na 6 stránkách textu. Jednalo se o externího posuzovatele, tudíž se nabízí otázka, jaký dojem úrovně doktorského studia tak fakulta zastoupená svým doktorandem vyvolala. Obecně na chyby upozornil další recenzent. Na nesrozumitelnost vyjadřování také jeden. Problém se schématy se objevil ve 2 projektech, číslování kapitol v 1 projektu. Časté je také zmiňování problému s odkazováním a citováním: problém odkazů na citované práce, nesprávná práce s literárními prameny (1 projekt); odkazování i na jiné než citované zdroje, zamlčení sekundárních zdrojů a citování nepoužitých primárních zdrojů, nesprávné uvádění zdrojů (1 projekt); nedostatky v seznamu použité literatury, kde figurují některé položky, které nejsou uvedeny v textu, a naopak některé citované položky nejsou v seznamu literatury uvedeny (2 projekty); připisování autorství někomu jinému (2 projekty); nejasnost, kdy se jedná o názor autora, kdy někoho jiného (1 projekt); nejasnost, zda se jedná o názory nebo výzkumná sdělení (1 projekt), způsob odkazování (1 projekt). Na zobecňování závěrů (zjištěných na specifických populacích) citovaných výzkumů upozorňoval jeden recenzent. „Např. ve skupině imigrantů dívky mají vyšší vzdělanostní aspirace než chlapci, což ovšem nelze zobecnit pro většinovou populaci žáků apod.“ Odkazovat na aktuálnější než uváděné zdroje doporučovali 2 recenzenti. Jeden autor uvedl, že výzkumy k tématu chybí, což ovšem, jak upozornil recenzent neodpovídá, a tyto výzkumy existují. Na nedostatek relevantní literatury (metodologické, výzkumy k tématu, zahraniční apod.) upozorňovali 3 recenzenti. Na to, že celá kapitola vychází pouze z 1 pramene, upozornil jeden recenzent. 7.4 Co recenzenti oceňovali? Pozitivně byly recenzenty hodnoceny oblasti jako celkový dojem z projektu, smysluplnost projektu, jeho význam či aktuálnost. Konkrétně se jednalo o tyto pozitivně hodnocené aspekty: · Smysluplnost projektu nebo výzkumného problému (3x ), smysluplné cíle (1x), téma (2x), užitečnost a přínos projektu, pokud se podaří realizovat v dané kvalitě (1x), smysluplnost a důležitost tématu (1x). · Aktuálnost a významnost projektu (3x), aktuálnost (1x), nadějný projekt (1x), realizovatelný a velmi slibný (1x), slibný, zajímavý projekt (1x), nosné téma a celkově velmi příznivé hodnocení (1x), příznivé hodnocení (1x), velice dobře připravený projekt - formálně, obsahově (1x). · Stupeň rozpracovanosti, kvalita zpracování (2x). · Zasazení do teorie (1x). · Orientace v širších souvislostech (1x). · Přehled výzkumů (1x), zpracování stavu řešení problematiky (1x). · Pestrost publikačních výstupů (1x). · Sběr dat a rozsah kódovaných jednotek (1x). 8. Ponaučení z lektorského posuzování projektů studentů 1. a 2. ročníku DSP Ne všechna kritéria, která jsme uplatnili při tomto souhrnném posouzení projektů, mají stejnou váhu. Dodržování citační normy a formální úpravy nejsou stejně závažné jako významnost a důležitost tématu. Design výzkumu je podle našeho názoru v pořadí významnosti kritérií také až za významem tématu. Nicméně výborné téma nepostačí, není-li vhodný design nebo nějaký aspekt metodologie, např. výzkumné metody. Váhu jednotlivých kritérií necháváme na posouzení čtenáři. Úroveň projektů ze Semináře studentů doktorského studijního programu (DSP) Pedagogika byla různá. Na odevzdaných projektech bylo patrné, zda na nich autoři pracují či nikoli. Silně se to projevilo v odbornosti a fundovanosti textu a jeho srozumitelnosti, jasnosti logických vztahů v něm. Ve výjimečných případech se projekt za celý rok studia neposunul do podoby, kdy by byl propracovaný, odkazoval na vhodné zdroje a byl metodologicky připraven pro realizaci. Zejména v případě prezenčního studia, trvajícího 3 roky, podporovaného z veřejných zdrojů také stipendiem, je třeba na projektu systematicky pracovat. Důležitá je též průběžná práce, zejména u presenčního studia, jehož délka je 3 roky. Dva z odevzdaných projektů nelze považovat za odpovídající požadavkům na úroveň doktorských projektů. Naopak za velmi dobré lze označit přihlášené projekty např. P. Hlaďa nebo S. Šebestové. Pouze jeden projekt působil jako varovný signál o stavu hlavní části doktorského studia autora - disertačního projektu. Stádium rozpracovanosti projektu nekorespondovalo s délkou již absolvovaného doktorského studia (4 semestr, prezenční studium). Téma projektu je velmi zajímavé a nosné, nicméně na něm, zdá se, nebylo vykonáno mnoho odborné práce. Zdá se, že pro realizaci projektu nebyly nastudovány odpovídající metodologické publikace a výzkumné studie ze zahraničních odborných časopisů a nebyla zvládnuta odpovídající anglická terminologie. Jsou plánována tři výzkumná šetření, která jsou nepromyšlená a nedopracovaná (zejména experiment). Předpokládaný výběr vzorku nezaručuje přínosné vědecké výsledky. Experimentálně ověřovat prostřednictvím výsledků a obtížně měřitelných dovedností žáků efektivitu určité metody je velmi náročný design. Experiment je přitom plánován pouze jako jeden z designů/metod. Na projektu je třeba intenzivně pracovat. Je otázkou, zda akademičtí pracovníci PdF MU a doktorští studenti hodnotí realizovanou lektorskou zpětnou vazbu k projektům, vypracovávání aktualizovaných projektů a prezentaci vybraných projektů jako přínosné. Doufáme, že ano, jak se zdá z postojů několika námi dotázaných. Dotázaní z účastnících se studentů hodnotili konferenci pozitivně, byť aktualizaci projektu považovali za časovou zátěž. Aktualizace projektů by měla probíhat vlastně neustále, protože projekt je jádrem disertační práce a mnoho informací v něm uvedených je obsahem naplňujícím kapitoly disertační práce. Časový harmonogram v projektu je důležitým vodítkem a kontrolním seznamem pro realizované činnosti v rámci časového omezení doktorského studia. Zúčastněným autorům je možné na závěr nabídnout dvě doporučení. Jednak na základě všech komentářů, které získali, vypracovat co nejdříve (dokud je vše „čerstvé“) aktualizovanou verzi projektu, tj. vlastně kostru disertace, plán disertačního výzkumu a teoretických východisek. A jednak v příštím roce využít cenné možnosti získat zpětnou vazbu od fakultních, ale i externích odborníků v rámci další doktorské konference či semináře. Doktorské konference jsou v současnosti plánovány na každý rok. Lze také doporučit pravidelné konzultace projektů a zajištění lektorských posudků, nejlépe externích, v pravidelných intervalech, ať už na fakultní úrovni či pracovištěm nebo školitelem. Je také nutné studovat kvalitní zahraniční literaturu, např. přehledové a výzkumné studie v impaktovaných časopisech, významné autory v dané oblasti. Dávat projekt a publikace z něj pročíst korektorovi (češtináři). Tyto výstupy reprezentují jak Pedagogickou fakultu, Masarykovu univerzitu, tak pedagogiku jako vědu a samozřejmě autora i školitele. Také lze doporučit projekt detailně domýšlet a u každého rozhodnutí zkoumat, jaké budou důsledky, tj. především se zamyslet, jak se mění téma výzkumu podle výzkumné otázky, hypotéz, metod, jak vzorek ovlivňuje výzkumný cíl atd., jaké důsledky má velké množství cílů atd. Je dobré vždy přistupovat k vlastnímu projektu kriticky a sledovat jeho logiku. Jedním z častých doporučení bývá také téma zúžit a zakotvit v teorii. Do modelových projektů pro doktorské studium by bylo, zdá se, vhodné doplnit rizika realizace výzkum/projektu a problémy daného výzkumu, jichž si je autor vědom, to, co autor neví, jak řešit, tak aby mu lektor/recenzent mohl dát zpětnou vazbu právě k těmto obtížným místům. Metodologickým problémům se nelze vyhnout, bez ohledu na to, jak zkušený je výzkumný tým, který dané téma zkoumá. Tato skutečnost však nevede ke skepsi, protože cílem je věci zlepšovat, a to se děje. Metodologické nedostatky lze přinejmenším eliminovat a řešit je, když vyvstanou a hlavně jim předcházet. Cílem vědy je přibližovat se k „nejlepším“ řešením a vysvětlením, což projekty přihlášené na konferenci činí, stejně tak k tomu přispívají jejich lektorské posudky. Kateřina Vlčková ________________________________ [1] Za pomoc s korekturou textu děkuji doc. Tomáši Janíkovi, vedoucímu CPV; Mgr. Simoně Šebestové, doktorandce na CPV; za zpětnou vazbu Mgr. Marii Doskočilové z Univerzity obrany. Za obsah a formu příspěvku je odpovědná pouze autorka. [2] Forma studia: prezenční P, kombinovaná K. [3] Dle seznamu školitelů pro doktorský studijní obor Pedagogika. Zdroj: Oddělení pro výzkum, vývoj a vnější vztahy. URL: http://www.ped.muni.cz/wscience/ (cit. dne 19. 8. 2008). Počet školitelů se může průběžně měnit vzhledem k průběžnému ukončování doktorského studia. [4] Stav ke dni 8. 9. 2008 platný pro jarní semestr 2008. Zdroj is.muni, oddělení VaV, též uvedeno pod Katedrou pedagogiky v is.muni (srpen 2008). [5] Platné v jarním semestru 2008, ke dni 8. 9. 2008.