Metodika vnitřního hodnocení bakalářských a magisterských studijních programů Materiál pro koordinátory pro kvalitu Shrnutí Předkládaná koncepce vnitřního hodnocení bakalářských a magisterských studijních programů byla schválena poradou vedení MU 29. září 2020, a to po zapracování připomínek uplatněných k první verzi členy vedení a Rady pro vnitřní hodnocení MU. Aktuální verze slouží pro práci koordinátorů pro kvalitu, jež budou procesy vnitřního hodnocení studijních programů koordinovat na svých fakultách. Materiál je doplněn odkazy na jednotlivé přílohy/dokumenty, které jsou pro realizaci vnitřního hodnocení potřebné. 1. Úvod Masarykova univerzita začala své studijní programy pravidelně hodnotit již v roce 2008, přičemž koncepčně navazovala zejména na anglosaské pojetí zajišťování kvality vysokoškolského vzdělávání. Od počátku bylo hlavním smyslem hodnocení poskytovat studijním programům formativní zpětnou vazbu, pomoci jim formulovat dlouhodobé strategické cíle a podpořit je tak v dalším rozvoji. Již v období před velkou novelou zákona o vysokých školách v roce 2016 byl navíc na univerzitě zakotven princip, že tímto vnitřním hodnocením musí projít každý studijní obor usilující o reakreditaci, což byl v českém akademickém prostředí té doby zcela ojedinělý přístup. Teprve zmíněná velká novela a na ni navazující legislativní předpisy zavedly povinnost pravidelně hodnotit studijní programy na všech českých vysokých školách. V souvislosti s kodifikací vnitřního systému zajišťování kvality podle požadavků novely vysokoškolského zákona Masarykova univerzita legislativně zakotvila základní parametry hodnocení vnitřním předpisem, který stanovil všem bakalářským, magisterským i doktorským studijním programům povinnost podstoupit hodnocení nejméně jednou za pět let. Zároveň se však tento typ hodnocení studijních programů přestal na čtyři roky uskutečňovat, protože veškeré úsilí univerzity se soustředilo na přípravu nových studijních programů nečlenících se na obory. Nově vznikající studijní programy byly sice hodnoceny v rámci svého schvalování (vnitřní akreditace), jejich hodnocení však vykazovalo řadu specifik: · studijní programy byly v zásadě posuzovány jako nově vznikající, a to i v případě, že přímo navazovaly na původní studijní obory, · posuzování nových studijních programů mělo charakter high-stake hodnocení, protože jeho hlavním výstupem bylo rozhodnutí o schválení či neschválení programu Radou pro vnitřní hodnocení, · při posuzování byl největší důraz kladen na ověřování elementárních předpokladů pro řádné uskutečňování programů, zejména v oblasti personálního zajištění a souvisejícího publikačního a grantového výkonu, · navzdory úsilí o zachování formativních prvků celkově převážily formální aspekty hodnocení. V roce 2020 Masarykova univerzita přeměnu původních studijních oborů na nové studijní programy dokončuje, v následujících letech se těžiště aktivit v souvislosti se studijními programy posune od jejich jednorázového schvalování zpět k průběžnému hodnocení. Předkládaný materiál navrhuje základní principy a postupy, o které by se měl tento hodnoticí mechanismus ve své výrazně inovované podobě opírat. Základním východiskem všech dalších úvah je přitom axiom, že vnitřní hodnocení není akreditace, ve vztahu ke studijním programům plní jinou funkci a má odlišnou povahu. 2. Zakotvení hodnocení studijních programů v předpisech MU Základní parametry vnitřního hodnocení studijních programů jsou na Masarykově univerzitě od roku 2017 zakotveny vnitřním předpisem Schvalování, řízení a hodnocení kvality studijních programů MU. Předpis v článku 14 především jednoznačně odlišuje dvě různé podoby hodnocení studijního programu, a to: · hodnocení studijního programu bezprostředně předcházející jeho prvnímu schválení, ať už se jedná o program zcela nový nebo vznikající přeměnou z původního studijního oboru nebo oborů a · pravidelné vnitřní hodnocení již uskutečňovaného studijního programu. Ve vztahu k druhému typu hodnocení předpis dále rozlišuje pravidelné každoroční hodnocení ze strany programové rady (čl. 14 odst. 2b) a „velké“ hodnocení studijního programu jednou za 5 let (čl. 14 odst. 2a). Předmětem předkládaného materiálu je pouze toto „velké“ hodnocení, z jehož parametrů předpis upravuje (čl. 14 odst. 3 - 12): · podklady hodnocení (sebehodnoticí zpráva, datová příloha), · složení a jmenování hodnoticího panelu (zástupce studentů nebo absolventů, zástupce zaměstnavatelů, akademický pracovník působící v daném nebo příbuzném oboru), · postup vlastního hodnocení (vypracování sebehodnoticí zprávy, zpracování hodnotitelských posudků, hodnoticí schůzka, zpracování plánu rozvoje studijního programu). S oporou v předběžných konzultacích, zejména na základě koncepční diskuze na výjezdním zasedání Rady pro vnitřní hodnocení MU v březnu 2020 lze konstatovat, že základní parametry „velkého“ hodnocení jsou v platných předpisech nastaveny správně. Výhledově by bylo žádoucí provést některé dílčí úpravy (pravidla pro výběr hodnotitelů, odlišný postup při hodnocení doktorských studijních programů), všechna aktuálně identifikovaná problémová místa však lze dočasně překlenout výkladem. Optimálně by případná úprava této části vnitřního předpisu mohla proběhnout až na základě vyhodnocení prvních reálných zkušeností s tímto typem hodnocení, v případě naléhavé potřeby však lze technickou novelu vnitřního předpisu připravit i dříve. 3. Vnitřní hodnocení studijních programů v kontextu dalších hodnocení na MU Jedním z významných rozdílů, kterým se bude vnitřní hodnocení studijních programů po roce 2020 lišit od původního modelu hodnocení, představuje jeho celkový kontext. Ve srovnání s obdobím do roku 2016 se totiž dramaticky rozšířil okruh činností, které na Masarykově univerzitě podléhají pravidelné vnitřní nebo vnější evaluaci. Pro správné nastavení vnitřního hodnocení studijních programů z toho vyplývá nutnost zajistit jeho kompatibilitu a provázanost s ostatními hodnotícími procesy uskutečňovanými na univerzitě, brát v úvahu rizika vyplývající z potenciálních časových souběhů různých typů hodnocení, a zejména nevytvářet duplicitní mechanismy, které by zvyšovaly administrativní zátěž akademických pracovníků. Hodnocení Cyklus Co se hodnotí Interní/externí hodnotitelé Povinnost Úroveň Podklady Roční hodnocení výzkumu roční (leden) výzkum interní (výroční pohovory) Interní fakulta Odbor výzkumu Hodnocení vědy ze strany ISAB roční Strategické cíle - doporučení externí univerzita Odbor výzkumu M17+ 11/2020 (5ti letý cyklus) výzkum/ společenský dopad / strategie / HR externí panel externí fakulta fakulty + RMU Formativní hodnocení výzkumu a PhD 2021/2022 (5ti letý cyklus) výzkum externí panel Interní pracoviště pracoviště Roční hodnocení studijních programů roční studijní program - interní studijní program IS (koordinace OPK) "Velké" hodnocení SP cyklus 5 let studijní program externí interní studijní program IS/OPK/Fakulta Tematické hodnocení Roční vzdělávací činnost interní interní univerzita RMU Hodnocení fakult roční (únor) tematické zaměření interní Interní fakulta Odbor strategie HR award dvouletý/tříletý plnění Akčních plánu HR Award interní/externí interní/ externí fakulty, UVT fakulty + UVT Předmětová anketa Každý semestr Výuka předmětu interní Interní univerzita Odbor strategie Hodnocení akademických pracovníků (EVAK) Každoročně Akademický pracovník - Interní Pracoviště IS MU Z výše uvedené tabulky je patrné, že řada témat souvisejících s uskutečňováním studijních programů je zároveň předmětem zájmu jiných hodnocení, byť je takové hodnocení často vtaženo k jiným referenčním bodům, než je studijní program (fakulta, pracoviště, individuální akademik). Typicky se to týká dvou oblastí, které tradičně hrály klíčovou roli při posuzování studijních programů v rámci akreditace: · personálního zajištění (evaluace fakult, hodnocení v rámci HR Award, individuální hodnocení akademických pracovníků) · výzkumný a grantový výkon (ISAB, evaluace fakult, externí hodnocení v rámci M17+). 4. Základní principy vnitřního hodnocení studijních programů Základní obecné principy jsou pro všechny typy hodnocení studijních programů na Masarykově univerzitě společné (např. předvídatelnost a transparentnost hodnoticích postupů, využití dostupných dat o studijních programech, kombinace sebehodnocení a perspektivy dalších klíčových aktérů v roli externích hodnotitelů atd.). Na tomto místě je pozornost věnována jen principům, které jsou v případě vnitřního hodnocení studijních programů specifické nebo zvlášť významné. 1. Vnitřní hodnocení studijních programů není akreditace Navzdory příbuznosti hodnoticích postupů v souvislosti se schvalováním studijních programů (akreditací) je třeba fakultám, garantům studijních programů a široké akademické obci srozumitelně vysvětlovat zásadní rozdíly obou procesů. Vědomí, že v případě akreditace se celý postup završuje posouzením programu Radou pro vnitřní hodnocení MU, která je na fakultách vnímána jako mocenský orgán, při tomto hodnocení silně omezuje otevřenost klíčových aktérů, zejména jejich ochotu přiznat nedostatky ve studijním programu. Ve vnitřním hodnocení hraje Rada pro vnitřní hodnocení jen nepřímou roli, do hodnoticích procesů vstupuje v podstatě jen formálním schválením harmonogramu hodnocení a panelu hodnotitelů a účastí svého zástupce na hodnoticí schůzce. 2. Vnitřní hodnocení studijních programů je zacíleno na oblast výuky Sebehodnocení i hodnocení ze strany hodnoticího panelu bude zaměřeno na oblast výuky a organizace studia, upozaděno bude naopak posuzování témat, která s kvalitou vzdělávací činností souvisejí jen nepřímo jako vědecký výkon, personální a materiální zabezpečení, neboť tyto aspekty jsou předmětem jiných realizovaných hodnocení (viz část 3). Hodnocení by se konkrétně mělo soustředit především na: · strukturu studijních plánů, odloženou volbu atd., · výstupy z učení programu a předmětů, · metody výuky a učení, · metody hodnocení studentů, · internacionalizaci. Hodnocení dále doplněno o reflexi přeměny studijního oboru na studijní program – touto cestou vznikla většina nových studijních programů na MU a v rámci vnitřního hodnocení se nabízí první příležitost s odstupem posoudit, jak se tato transformace podařila. 3. Vnitřní hodnocení studijních programů má formativní charakter Na rozdíl od hodnocení v souvislosti se schvalování, jehož hlavním výstupem je rozhodnutí o jeho schválení (akreditaci) či neschválení, je vnitřní hodnocení zacíleno na zlepšování vzdělávacích činností. Jeho výsledky by proto měly být relevantní především pro daný studijní program a až druhotně pro vedení fakulty, Radu pro vnitřní hodnocení nebo další orgány (cílem vnitřního hodnocení není kontrola kvality, ale především poskytnutí podnětů k dalšímu rozvoji v návaznosti na naplnění standardů a strategii univerzity). 4. Vnitřní hodnocení doktorských studijních programů probíhá jako součást hodnocení výzkumu na MU Navzdory původnímu předpokladu, že vnitřní hodnocení doktorských studijních programů bude probíhat podle stejných pravidel jako hodnocení programů bakalářských a magisterských, se navrhuje od tohoto záměru ustoupit. Důvodem je nově zaváděný mechanismus pravidelného vnitřního hodnocení výzkumu na MU, jehož podstatná část se má rovněž věnovat doktorským studijním programům. Nepovažujeme za účelné hodnotit doktorské studijní programy v rámci dvou formálně odlišných, ale obsahově se překrývajících typů hodnocení. Vzhledem k silným vazbám doktorských studijních programů na výzkum se proto navrhuje podřadit jejich hodnocení pod pravidelné hodnocení výzkumu, a to i za tu cenu, že některé postupy nebudou zcela totožné s hodnocením ostatních studijních programů (lze předpokládat např. jiný mechanismus ustavení hodnoticího panelu, jiná jednotka hodnocení - pracoviště atd.). Tento materiál a v něm formulovaná doporučení (včetně návrhu sebehodnoticí zprávy) se proto týkají primárně pregraduálních studijních programů, koncepce hodnocení programů doktorských bude řešena samostatně. 5. Vnitřní hodnocení studijních programů podporuje sdílení příkladů dobré praxe napříč univerzitou 5. Postupy vnitřního hodnocení Procesně se bude vnitřní hodnocení opírat o ustanovení čl. 14 vnitřního předpisu Schvalování, řízení a hodnocení kvality studijních programů Masarykovy univerzity. Pro účely lepší orientace v celém procesu byly vytvořeny dvě metodické příručky (pro garanty studijních programů a pro hodnotitele) – jsou obsaženy v Přílohách 1 a 2. Sekvence jednotlivých kroků při hodnocení je navržena následovně: Textové pole: Průběh hodnocení 1. Sebehodnoticí zpráva V rámci vnitřního hodnocení zpracuje garant studijního programu ve spolupráci zejména s vedoucími pracovišť uskutečňujících výuku studijního programu, jakož i s garanty předmětů studijního programu sebehodnotící zprávu o naplnění požadavků vyplývajících ze Standardů kvality studijních programů MU (dále jen „sebehodnotící zpráva“). Sebehodnotící zpráva poskytuje garantovi studijního programu příležitost reflektovat dosavadní uskutečňování studijního programu v jeho klíčových oblastech: obsah a struktura kurikula, tvorba studijních plánů, výuka, podmínky studia, organizační a personální zabezpečení. Při zpracování sebehodnotící zprávy garant studijního programu vychází z: · charakteristiky studijního programu, · datové přílohy v IS MU, zahrnující statistická data o studijním programu alespoň za posledních 5 let, · vnitřního hodnocení studijního programu za posledních 5 let, včetně výsledků předmětové ankety a dalších výstupů hodnocení. Formulář pro sebehodnoticí zprávu je v Příloze 3. Spolu se sebehodnocením, které zpracovává garant programu, je připravován před každým vnitřním hodnocením koordinátorem pro kvalitu tzv. checklist. Jeho cílem je doložit naplnění standardů a požadavků, které není třeba kvalitativně posuzovat v sebehodnoticí zprávě, ale lze jejich splnění pouze zkontrolovat v IS MU. Formulář pro checklist je v Příloze 4. 2. Panel hodnotitelů Pro každé vnitřní hodnocení je ustaven panel hodnotitelů, jenž je složen ze: · zástupce studentů s aktivním studiem na MU v daném studijním programu nebo zástupce absolventů daného studijního programu; · zástupce zaměstnavatelů absolventů daného studijního programu nebo odborníků z praxe; · akademického pracovníka působícího v daném nebo příbuzném oboru. Hodnotitelé nejsou členy programové rady daného studijního programu. Panel hodnotitelů takto kombinuje zpětnou vazbu z vnitřního i vnějšího prostředí univerzity. Jednotlivé hodnotitele po projednání programovou radou navrhuje děkanovi garant studijního programu ke schválení. Návrh hodnotitele musí být odůvodněn. Děkanem schválený návrh panelu hodnotitelů poté schvaluje předseda Rady pro vnitřní hodnocení. Formulář pro návrh hodnotitelů je v Příloze 5. Každý z hodnotitelů ve stanovené lhůtě 30 dnů od zpřístupnění materiálů zpracuje a zašle garantovi studijního programu Vyjádření hodnotitele, ve kterém zhodnotí naplnění požadavků vyplývajících ze Standardů kvality studijních programů MU a navrhne doporučení pro zlepšení kvality studijního programu. Formulář pro vyjádření hodnotitele je v Příloze 6. 3. Hodnoticí schůzka Po obdržení všech doporučení hodnotitelů garant studijního programu svolá hodnotící schůzku, které se kromě něj vždy účastní alespoň dva z hodnotitelů a děkan. Hodnoticí schůzky se dále zpravidla účastní člen RVH (fakultativní účast), členové programové rady, vedoucí pracoviště či pracovišť, na kterých je studijní program uskutečňován, zástupce Rektorátu MU, zástupci kolegia děkana fakulty, zástupce SK AS fakulty, popř. jiné osoby dle návrhu garanta studijního programu. 4. Plán rozvoje Na základě zpracovaných podkladů a výsledků hodnotící schůzky zpracuje garant studijního programu návrh plánu rozvoje studijního programu, který vymezí strategické směřování daného studijního programu do budoucna. Má se za to, že návrh plánu rozvoje je děkanem schválen okamžikem vložení tohoto návrhu do IS MU. Návrh plánu rozvoje obsahuje: · dlouhodobé cíle rozvoje studijního programu pro následující pětileté období, · plán činnosti pro následující rok. Formulář pro plán rozvoje je v Příloze 7. Veškeré dokumenty (sebehodnoticí zpráva s přílohami, checklist, vyjádření hodnotitelů, plán rozvoje) jsou ukládány na dokumentovém serveru IS MUNI. 6. Klastrování studijních programů pro účely hodnocení V rámci realizované přeměny studijních oborů na studijní programy prošly všechny nově akreditované programy hodnocením dle čl. 23, popř. jako programy nově vznikající. Zároveň s rozhodnutím o udělení oprávnění studijnímu programu RVH určila, do jaké doby má být uskutečněno následující vnitřní hodnocení, přičemž lhůty se pohybovaly v rozmezí 3-5 let. I v případě ideálně rovnoměrného rozložení hodnocení by vznikla administrativní zátěž odpovídající orientačně zhruba hodnocení 30 studijních bakalářských a magisterských programů ročně. Protože však přeměna studijních oborů na studijní programy probíhala ve velmi omezeném časovém rámci, vznikla situace, kdy by se i navazující vnitřní hodnocení koncentrovala do velmi intenzivních bloků, namísto toho, aby byla rovnoměrněji rozložena do jednotlivých let (viz Příloha 8). Navrhuje se proto principiálně umožnit prodloužení lhůt pro provedení některých hodnocení, pokud to fakulta bude z hlediska organizace svých činností považovat za smysluplné. Základním nástrojem pro plánování vnitřních hodnocení by měl být harmonogram, který oficiálně vyhlásí děkan vždy na konci kalendářního roku. Tento materiál navrhuje, aby fakultní harmonogram buď předem projednávala, nebo nakonec formálně schvalovala RVH, která by tím mohla posvětit odůvodněné odchylky od původně stanovených termínů hodnocení (tento termín lze posunout maximálně o dva roky tak, aby byla pokud možno dodržena pětiletá lhůta hodnocení). Harmonogram hodnocení by měl být navržen tak, aby tyto byly rozvrženy do celého časového období (rovnoměrné zatížení v jednotlivých letech), přičemž doporučeno bude agregovat hodnocení do širších klastrů, typicky: · hodnocení bakalářského a na něj přímo navazujícího magisterského programu, · hodnocení jazykových mutací totožného programu, · hodnocení studijních programů uskutečňovaných stejným pracovištěm (katedrou/ústavem), u nichž to bude považováno za účelné, · studijních programů ze stejné oblasti vzdělávání. I v případě při klastrování jednotlivých hodnocení bude třeba pro každý studijní program zpracovat individuální sebehodnoticí zprávu, programy v dané skupině však mohou mít společnou hodnoticí schůzku a společný panel hodnotitelů. 7. Další témata V souvislosti s probíhajícím tematickým hodnocením internacionalizace bylo navrženo a vedením schválena možnost rozšíření vnitřního hodnocení studijního programu o hlubší zaměření na téma internacionalizace. Hodnocení internacionalizace by fungovalo na následujících principech: - hodnocení bude probíhat na dobrovolné bázi, nad rámec povinného minima; - hodnocení se zúčastní max. 5-7 studijních programů ročně; - bude vytvořen rozšiřující přídavný modul sebehodnoticí zprávy zaměřený na internacionalizaci, včetně datové podpory pro podrobnější analýzu této problematiky; - panel hodnotitelů bude rozšířen o hodnotitele ze zahraniční, podkladové materiály proto budou v anglickém jazyce; - hodnocení vybraných programů bude probíhat společně, bude založeno na vzájemné intenzivní výměně zkušeností (peer learning). Rozšíření vnitřního hodnocení o modul internacionalizace bude jako téma rozpracováno v samostatném dokumentu.