TA ČR HOP: Závěrečná zpráva (Statistické a data miningové analýzy hodnocení projektů oponenty)

BARUNÍK, Jozef, Hynek CÍGLER, Jiří DOBEŠ, David ELEK, Ladislav FRÜHAUF, Dominik HAJDUK, Jan KLEŇKA, Jiří POMIKÁLEK a Jan RYGL. TA ČR HOP: Závěrečná zpráva (Statistické a data miningové analýzy hodnocení projektů oponenty). Praha: České priority, z.ú., 2023, 106 s.

Základní údaje

• Originální název: TA ČR HOP: Závěrečná zpráva (Statistické a data miningové analýzy hodnocení projektů oponenty)
• Autoři: BARUNÍK, Jozef, Hynek CÍGLER, Jiří DOBEŠ, David ELEK, Ladislav FRÜHAUF, Dominik HAJDUK, Jan KLEŇKA, Jiří POMIKÁLEK a Jan RYGL.
• Vydání: Praha, 106 s. 2023.
• Nakladatel: České priority, z.ú.

Další údaje

• Originální jazyk: čeština
• Typ výsledku: Výzkumná zpráva
• Obor: 10201 Computer sciences, information science, bioinformatics
• Stát vydavatele: Česká republika
• Utajení: obsah je utajovanou skutečností
• Organizační jednotka: Fakulta sociálních studií
• Klíčová slova česky: statistics; hypothesis testing; review process; assessment; peer review; data mining
• Klíčová slova anglicky: statistics; hypothesis testing; review process; assessment; peer review; data mining

Anotace

Tato zpráva představuje výsledky analýz oponentního procesu veřejných soutěží Technologické agentury ČR od prosince 2017 do února 2023. Analýza vznikla v rámci prvního minitendru rámcové smlouvy TITDTACR183 - Hodnocení a evaluace v programu BETA 2. Data o oponentech a posudcích, které tito vypracovali, byla analyzována deskriptivními i exploračními statistickými metodami, psychometrickými analýzami i strojovým zpracováním jazyka (NLP). Projekt kvantifikoval pro zkoumané veřejné soutěže (VS) nereliabilitu jejich oponentního procesu a identifikoval její hlavní zdroje. Na úrovni individuálních kritérií zkoumal schopnost jednotlivých kritérií rozlišovat “dobré”1 projekty a míru, do které se v nich oponenti shodují. V rámci NLP byl ověřován soulad bodového a textového hodnocení a analyzován vliv sentimentu hodnocení na udělené skóre. Závěrem byly také provedeny analýzy pro ověření existence biasů v oponentním hodnocení. Zpráva nejprve v kapitole Úvod poskytuje přehled o pozadí výzkumu a situuje jej v mezinárodním i lokálním kontextu. V kapitole Úprava dat je popsán proces zpracování poskytnutých dat pro jejich další analýzu, zatímco kapitola Deskriptivní statistiky oponentního procesu obeznámí čtenáře se strukturou dat i základními charakteristikami zkoumaných veřejných soutěží. Pomyslnou druhou část zprávy otevírá kapitola Použité metody, která poskytuje bližší teoretický popis jednotlivých metod použitých pro analýzy v této zprávě. V této kapitole se tak nachází naprostá většina vzorců a teoretických konstruktů, ze kterých vychází závěry - ve slovní formě jsou však popsány i na příslušných dalších místech tak, že ji mohou čtenáři při pročítání případně přeskočit. Tato kapitola je strukturována podle jednotlivých přístupů tak, aby se čtenáři mohli v případě zájmu vrátit ke konkrétnímu bodu. Následuje hlavní kapitola Zjištění, která je strukturována podle jednotlivých hypotéz a poskytuje odpovědi s využitím dříve popsaných metod. Část se substantivními výsledky analýz uzavírá kapitola Alternativní model statistického zpracování hodnocení oponentů, která poskytuje ucelený pohled na model, který se liší od původního způsobu kompilace oponentských posudků. Závěr zprávy tvoří dvě kapitoly: Implikace provedených analýz a zjištění a Doporučení a možné směry pro další výzkum. První sumarizuje a uvádí do kontextu zjištění z analýz v předcházejících kapitolách, a představuje tak shrnutí zásadních výsledků a jejich společné vyznění. Poslední kapitola pak komentuje nejprve body, které byly diskutovány se zástupci TA ČR během řešení, a následně i doporučení řešitelského týmu pro intervence a další výzkum. Nedílnou součástí zprávy jsou dva apendixy - přehled dimenzí oponentních procesů v zahraničním kontextu a dokumentace analytických výstupů - a adresář s replikovatelným kódem provedených analýz.