V 2023

TA ČR HOP: Závěrečná zpráva (Statistické a data miningové analýzy hodnocení projektů oponenty)

BARUNÍK, Jozef, Hynek CÍGLER, Jiří DOBEŠ, David ELEK, Ladislav FRÜHAUF et. al.

Základní údaje

Originální název

TA ČR HOP: Závěrečná zpráva (Statistické a data miningové analýzy hodnocení projektů oponenty)

Autoři

BARUNÍK, Jozef, Hynek CÍGLER, Jiří DOBEŠ, David ELEK, Ladislav FRÜHAUF, Dominik HAJDUK, Jan KLEŇKA, Jiří POMIKÁLEK a Jan RYGL

Vydání

Praha, 106 s. 2023

Nakladatel

České priority, z.ú.

Další údaje

Jazyk

čeština

Typ výsledku

Výzkumná zpráva

Obor

10201 Computer sciences, information science, bioinformatics

Stát vydavatele

Česká republika

Utajení

obsah je utajovanou skutečností

Organizační jednotka

Fakulta sociálních studií

Klíčová slova česky

statistics; hypothesis testing; review process; assessment; peer review; data mining

Klíčová slova anglicky

statistics; hypothesis testing; review process; assessment; peer review; data mining
Změněno: 4. 10. 2023 16:20, Mgr. Hynek Cígler, Ph.D.

Anotace

V originále

Tato zpráva představuje výsledky analýz oponentního procesu veřejných soutěží Technologické agentury ČR od prosince 2017 do února 2023. Analýza vznikla v rámci prvního minitendru rámcové smlouvy TITDTACR183 - Hodnocení a evaluace v programu BETA 2. Data o oponentech a posudcích, které tito vypracovali, byla analyzována deskriptivními i exploračními statistickými metodami, psychometrickými analýzami i strojovým zpracováním jazyka (NLP). Projekt kvantifikoval pro zkoumané veřejné soutěže (VS) nereliabilitu jejich oponentního procesu a identifikoval její hlavní zdroje. Na úrovni individuálních kritérií zkoumal schopnost jednotlivých kritérií rozlišovat “dobré”1 projekty a míru, do které se v nich oponenti shodují. V rámci NLP byl ověřován soulad bodového a textového hodnocení a analyzován vliv sentimentu hodnocení na udělené skóre. Závěrem byly také provedeny analýzy pro ověření existence biasů v oponentním hodnocení. Zpráva nejprve v kapitole Úvod poskytuje přehled o pozadí výzkumu a situuje jej v mezinárodním i lokálním kontextu. V kapitole Úprava dat je popsán proces zpracování poskytnutých dat pro jejich další analýzu, zatímco kapitola Deskriptivní statistiky oponentního procesu obeznámí čtenáře se strukturou dat i základními charakteristikami zkoumaných veřejných soutěží. Pomyslnou druhou část zprávy otevírá kapitola Použité metody, která poskytuje bližší teoretický popis jednotlivých metod použitých pro analýzy v této zprávě. V této kapitole se tak nachází naprostá většina vzorců a teoretických konstruktů, ze kterých vychází závěry - ve slovní formě jsou však popsány i na příslušných dalších místech tak, že ji mohou čtenáři při pročítání případně přeskočit. Tato kapitola je strukturována podle jednotlivých přístupů tak, aby se čtenáři mohli v případě zájmu vrátit ke konkrétnímu bodu. Následuje hlavní kapitola Zjištění, která je strukturována podle jednotlivých hypotéz a poskytuje odpovědi s využitím dříve popsaných metod. Část se substantivními výsledky analýz uzavírá kapitola Alternativní model statistického zpracování hodnocení oponentů, která poskytuje ucelený pohled na model, který se liší od původního způsobu kompilace oponentských posudků. Závěr zprávy tvoří dvě kapitoly: Implikace provedených analýz a zjištění a Doporučení a možné směry pro další výzkum. První sumarizuje a uvádí do kontextu zjištění z analýz v předcházejících kapitolách, a představuje tak shrnutí zásadních výsledků a jejich společné vyznění. Poslední kapitola pak komentuje nejprve body, které byly diskutovány se zástupci TA ČR během řešení, a následně i doporučení řešitelského týmu pro intervence a další výzkum. Nedílnou součástí zprávy jsou dva apendixy - přehled dimenzí oponentních procesů v zahraničním kontextu a dokumentace analytických výstupů - a adresář s replikovatelným kódem provedených analýz.