IT PODPORA VNITŘNÍHO SYSTÉMU ZAJIŠŤOVÁNÍ KVALITY doc. PhDr. Hana Marešová, Ph.D., MBA, Univerzita Palackého v Olomouci Telč 25. – 26. 5. 2023 © Univerzita Palackého v Olomouci, 2023 IT podpora vnitřního systému zajišťování kvality Jaké funkce systém zajištuje? Informační systém hodnocení akademických/vědeckých pracovníků (IS HAP) – hap.upol.cz • informace o aktivitách a výsledcích akademických/vědeckých pracovníků • automatické natahování z ostatních informačních systémů UP, hromadné načítání dat mimo informační systémy přes excelovské soubory, pouze malou část dat vyplňujíc přímo pracovníci • u některých položek přímo vyhodnocena jejich kvalita – bibliometrická analýza časopiseckých publikací dle WoS a Scopus • agregované informace o jednotlivém pracovníkovi = datová podpora pro zpracování vlastního hodnocení pracovníka vedoucím pracoviště • funkce pro analýzu uložených dat (umožňují např. porovnávat aktivity a výsledky akademických/vědeckých pracovníků různých součástí univerzity nebo různých pracovišť jedné součásti) © Univerzita Palackého v Olomouci, 2023 Jaké funkce systém zajištuje? • hodnoticí model = vyhodnocuje výkon akademického pracovníka ve vzdělávací oblasti a v tvůrčí oblasti na základě porovnání rozsahu jeho aktivit a výsledků se standardy stanovenými pro jednotlivé pracovní pozice a oblasti hodnocení. • standardy stanovovány zvlášť pro každou fakultu univerzity • sledováno i vytížení akademického/vědeckého pracovníka akademickými funkcemi a manažerskou činností • Z těchto parametrů pomocí fuzzy expertního systému (báze pravidel typu Jestliže…, pak…, které mají své matematické vyjádření) stanoveno celkové hodnocení pracovníka. • Z celkového hodnocení a zatížení akademickými funkcemi se pomocí analogické báze pravidel odvozuje celkové vytížení akademického/vědeckého pracovníka. IT podpora vnitřního systému zajišťování kvality © Univerzita Palackého v Olomouci, 2023 Jaké funkce systém zajištuje? 1. Oblast vzdělávací činnosti: a) Pedagogické aktivity ve vazbě k výuce (počet odučených hodin, SZZ ad.) b) Pedagogické aktivity ve vazbě k vedení studentů (vedení kvalifikačních prací, školitel apod.) c) Organizační aktivity související s rozvojem studia (garant SP, příprava akreditačních spisů apod.) 2. Oblast tvůrčí činnosti: a) Výsledky vědy a výzkumu (bodované v ČR dle metodiky hodnoceni VaVaI) b) Ostatní výsledky vědy a výzkumu (grantová činnost, smluvní výzkum apod.) c) Organizační činnost spojená s vědou a výzkumem (člen redakční rady apod.) 3. Akademické funkce a manažerská činnost funkce, činnost v komisích atd. Zohledněny standardy fakulty, pracovní pozice, výše úvazku. Vedoucí – rozhovor o výsledcích s pracovníkem, plány do budoucna, zpracování hodnocení do IS HAP. IT podpora vnitřního systému zajišťování kvality © Univerzita Palackého v Olomouci, 2023 IT podpora vnitřního systému zajišťování kvality © Univerzita Palackého v Olomouci, 2023 IT podpora vnitřního systému zajišťování kvality © Univerzita Palackého v Olomouci, 2023 IT podpora vnitřního systému zajišťování kvality © Univerzita Palackého v Olomouci, 2023 IT podpora vnitřního systému zajišťování kvality © Univerzita Palackého v Olomouci, 2023 Jak je systém propojen s dalšími systémy? 1) SAP: informace o organizační struktuře univerzity, akademických/vědeckých pracovnících, jejich pracovních pozicích a úvazcích ze systému SAP, popř. z jiného systému univerzity, v němž jsou uložena personální data. 2) STAG: informace o vzdělávací činnosti standardně ze systému STAG, ale je připraven k tomu čerpat je z jiného systému studijní agendy 3) OBD: informace o výsledcích VaVaI standardně ze systému OBD, ale je schopen pracovat i s jinými systémy, které VŠ pro shromažďování těchto dat používají 4) RUV: informace o výstupech umělecké činnosti 5) CEP: informace o řešitelích projektů IT podpora vnitřního systému zajišťování kvality © Univerzita Palackého v Olomouci, 2023 Jaký je podíl vkládání dat vs. agregování dat? • většina dat načítána automaticky z jiných IS • automaticky jsou generována i agregovaná data (výstupy statistických analýz IS HAP) • akademický/vědecký pracovník odkontroluje automaticky načtená data a vkládá pouze ta, která nelze získat jinak – např. činnost v komisích, zastávané funkce, plány do budoucna ve vzdělávací a tvůrčí činnosti • vedoucí pracovník vkládá písemné hodnocení pracovníka, které vychází z datových podkladů, vyjadřuje se, zda výkon na základě dat odpovídá reálné situaci IT podpora vnitřního systému zajišťování kvality © Univerzita Palackého v Olomouci, 2023 Jaký je podíl systému na snižování administrativní zátěže? • přínos pro vedoucího provádějícího hodnocení (všechny datové podklady pohromadě), vyhodnocení dle fuzzy modelu zhodnocující parametry ovlivňující jeho výkon • přínos pro jednotlivé pracovníky – úspora času při sumarizaci veškerých svých aktivit (využitelné při přípravě akreditačních spisů studijních programů, podávání grantů, přípravě podkladů pro habilitační a jmenovací řízení apod.) • přínos pro datové analytiky – souhrnné analytické zprávy – výkaznická činnost – zprávy o vnitřním hodnocení kvality, výroční zprávy o činnosti, zprávy pro M17+ ad. • přehled výkonu fakulty pro vedení fakult • benchmarking výkonu fakult pro vedení univerzity – řízení výkonu a kvality činností fakult IT podpora vnitřního systému zajišťování kvality © Univerzita Palackého v Olomouci, 2023 IT podpora vnitřního systému zajišťování kvality 3,8 5,76 7,37 6,5 3,86 4,94 4,08 3,35 3,58 1 1,61 4,75 1,45 0,9 2,45 2,1 2,86 2,43 2,88 0,110,08 0,6 0,02 0,18 0,68 0,61 0,48 0,42 0,54 0,06 0 1 2 3 4 5 6 7 8 CMTF FF FTK FZV LF PF PdF PřF CRH RCPTM Průměrný počet vedených doktorandů Profesor Docent Odborný asistent © Univerzita Palackého v Olomouci, 2023 IT podpora vnitřního systému zajišťování kvality 2,4 11,93 4,62 9,5 0,24 2,56 7,24 2 1,89 2,75 9,49 11,59 11,63 2,79 0,5 9,21 12,89 5,55 1,34 1,15 14,71 11,84 13,23 8,33 0,45 9,63 20,78 6,95 1,31 0,78 0 5 10 15 20 25 CMTF FF FTK FZV LF PF PdF PřF CRH RCPTM Průměrný počet kvalifikačních prací na fakultách Průměrný počet kvalifikačních prací Profesor Docent Odborný asistent © Univerzita Palackého v Olomouci, 2023 Jak systém pomáhá zvyšovat kvalitu výuky? • vyhodnocení plnění ukazatelů kvality vzdělávací a tvůrčí činnosti dle vnitřního předpisu UP R-A-21/01 Pravidla hodnocení kvality…: 1.9 Počet studentů na akademického pracovníka 1.10 Počet doktorandů na jednoho školitele 2.6 Vyhodnocení kvality vybraných výsledků 2.7 Hodnocení uměleckých výstupů – RUV 2.12 Finance získané na tvůrčí činnost 3.2 Udělené patenty 3.3 Nově uzavřené licenční smlouvy 3.4 Příjem za transfer znalostí • přehledná data o výukové vytíženosti jednotlivých pracovníků, počtu vedených prací apod. umožňují sledovat, zda je někdo nadměrně zatěžován • vedoucí může z dat sledovat, jak realizovaná výuka souvisí s tvůrčí činností pracovníka a příp. provést změny • IS HAP umožňuje zobrazit agregované výsledky studentských evaluací (nebo jiná číselná hodnocení, např. získaná z hospitací ve výuce) u jednotlivých vyučovaných předmětů – mohou pak být zohledněny vedoucím při jeho finálním hodnocení. IT podpora vnitřního systému zajišťování kvality © Univerzita Palackého v Olomouci, 2023 Jaký je přínos systému pro chod RVH? • provádění vnitřních norem kvality (garantem RVH UP): ✓ vnitřní předpis R-A-21/01 Pravidla systému zajišťování kvality vzdělávací, tvůrčí a s nimi souvisejících činností a vnitřního hodnocení kvality vzdělávací, tvůrčí a s nimi souvisejících činností Univerzity Palackého v Olomouci a prováděcí vnitřní normy R-B-20/13 Postupy a metody zajišťování kvality na UP ✓ vnitřní norma R-B-20/11 Řízení kvality na Univerzitě Palackého v Olomouci ✓ vnitřní norma R-B-19/29 Pravidelné hodnocení zaměstnanců Univerzity Palackého v Olomouci ✓ vnitřní norma R-B-18/14 Pravidla kontrolní činnosti na Univerzitě Palackého v Olomouci • přímé využití dosud nerealizováno • lze zřídit na vyžádání přístup členům RVH k vybraným položkám pracovníků (např. u garantů studijních programů, garantů předmětů, pro účely řízení kvality apod.) IT podpora vnitřního systému zajišťování kvality © Univerzita Palackého v Olomouci, 2023 Jaké jsou nejdůležitější směry rozvoje do budoucna? • příprava na hodnocení výsledků VaVaI nejen s nástroji bibliometrické analýzy, ale také s výstupy peer review hodnocení – první krok začlenění hodnocení vybraných výsledků dle M17+ do IS HAP • úprava modelu hodnocení tak, aby číselná hodnocení kvality výuky ze strany studentů (eval.upol.cz) byla zohledňována při výpočtu hodnocení ve výukové činnosti: Poskytnuté nebo zpřístupněné studijní materiály (studijní texty, prezentace, e-learningové opory aj.) Možné odpovědi: • byly plně přínosné a rozšiřovaly základní informace – 5 • byly částečně přínosné – 3 • obdržel/a jsem, ale nekorespondovaly s tématy předmětu – 1 • k předmětu nebyly studijní materiály – 0 Slovní hodnocení: • vytvoření IS HUP (Hodnocení Univerzitních Pracovišť) – měření vzdělávacího a tvůrčího výkonu celých pracovišť – benchmarking výkonu fakult IT podpora vnitřního systému zajišťování kvality IT PODPORA VNITŘNÍHO SYSTÉMU ZAJIŠŤOVÁNÍ KVALITY hana.maresova@upol.cz Telč 25. – 26. 5. 2023