V 2023

TA ČR HOP: Závěrečná zpráva (Statistické a data miningové analýzy hodnocení projektů oponenty)

BARUNÍK, Jozef, Hynek CÍGLER, Jiří DOBEŠ, David ELEK, Ladislav FRÜHAUF et. al.

Basic information

Original name

TA ČR HOP: Závěrečná zpráva (Statistické a data miningové analýzy hodnocení projektů oponenty)

Authors

BARUNÍK, Jozef, Hynek CÍGLER, Jiří DOBEŠ, David ELEK, Ladislav FRÜHAUF, Dominik HAJDUK, Jan KLEŇKA, Jiří POMIKÁLEK and Jan RYGL

Edition

Praha, 106 pp. 2023

Publisher

České priority, z.ú.

Other information

Language

Czech

Type of outcome

Výzkumná zpráva

Field of Study

10201 Computer sciences, information science, bioinformatics

Country of publisher

Czech Republic

Confidentiality degree

obsah je utajovanou skutečností

Organization unit

Faculty of Social Studies

Keywords (in Czech)

statistics; hypothesis testing; review process; assessment; peer review; data mining

Keywords in English

statistics; hypothesis testing; review process; assessment; peer review; data mining
Změněno: 4/10/2023 16:20, Mgr. Hynek Cígler, Ph.D.

Abstract

V originále

Tato zpráva představuje výsledky analýz oponentního procesu veřejných soutěží Technologické agentury ČR od prosince 2017 do února 2023. Analýza vznikla v rámci prvního minitendru rámcové smlouvy TITDTACR183 - Hodnocení a evaluace v programu BETA 2. Data o oponentech a posudcích, které tito vypracovali, byla analyzována deskriptivními i exploračními statistickými metodami, psychometrickými analýzami i strojovým zpracováním jazyka (NLP). Projekt kvantifikoval pro zkoumané veřejné soutěže (VS) nereliabilitu jejich oponentního procesu a identifikoval její hlavní zdroje. Na úrovni individuálních kritérií zkoumal schopnost jednotlivých kritérií rozlišovat “dobré”1 projekty a míru, do které se v nich oponenti shodují. V rámci NLP byl ověřován soulad bodového a textového hodnocení a analyzován vliv sentimentu hodnocení na udělené skóre. Závěrem byly také provedeny analýzy pro ověření existence biasů v oponentním hodnocení. Zpráva nejprve v kapitole Úvod poskytuje přehled o pozadí výzkumu a situuje jej v mezinárodním i lokálním kontextu. V kapitole Úprava dat je popsán proces zpracování poskytnutých dat pro jejich další analýzu, zatímco kapitola Deskriptivní statistiky oponentního procesu obeznámí čtenáře se strukturou dat i základními charakteristikami zkoumaných veřejných soutěží. Pomyslnou druhou část zprávy otevírá kapitola Použité metody, která poskytuje bližší teoretický popis jednotlivých metod použitých pro analýzy v této zprávě. V této kapitole se tak nachází naprostá většina vzorců a teoretických konstruktů, ze kterých vychází závěry - ve slovní formě jsou však popsány i na příslušných dalších místech tak, že ji mohou čtenáři při pročítání případně přeskočit. Tato kapitola je strukturována podle jednotlivých přístupů tak, aby se čtenáři mohli v případě zájmu vrátit ke konkrétnímu bodu. Následuje hlavní kapitola Zjištění, která je strukturována podle jednotlivých hypotéz a poskytuje odpovědi s využitím dříve popsaných metod. Část se substantivními výsledky analýz uzavírá kapitola Alternativní model statistického zpracování hodnocení oponentů, která poskytuje ucelený pohled na model, který se liší od původního způsobu kompilace oponentských posudků. Závěr zprávy tvoří dvě kapitoly: Implikace provedených analýz a zjištění a Doporučení a možné směry pro další výzkum. První sumarizuje a uvádí do kontextu zjištění z analýz v předcházejících kapitolách, a představuje tak shrnutí zásadních výsledků a jejich společné vyznění. Poslední kapitola pak komentuje nejprve body, které byly diskutovány se zástupci TA ČR během řešení, a následně i doporučení řešitelského týmu pro intervence a další výzkum. Nedílnou součástí zprávy jsou dva apendixy - přehled dimenzí oponentních procesů v zahraničním kontextu a dokumentace analytických výstupů - a adresář s replikovatelným kódem provedených analýz.