Revealing data leakage in protein interaction benchmarks

BUSHUIEV, Anton, Roman BUSHUIEV, Jiri SEDLAR, Tomas PLUSKAL, Jiří DAMBORSKÝ, Stanislav MAZURENKO a Josef SIVIC. Revealing data leakage in protein interaction benchmarks. In ICLR 2024 Workshop on Generative and Experimental Perspectives for Biomolecular Design. 2024, 13 s.

Základní údaje

Originální název

Revealing data leakage in protein interaction benchmarks

Autoři

BUSHUIEV, Anton, Roman BUSHUIEV, Jiri SEDLAR, Tomas PLUSKAL, Jiří DAMBORSKÝ, Stanislav MAZURENKO a Josef SIVIC

Vydání

ICLR 2024 Workshop on Generative and Experimental Perspectives for Biomolecular Design, 13 s. 2024

---

Další údaje

Jazyk

angličtina

Typ výsledku

Stať ve sborníku

Obor

10608 Biochemistry and molecular biology

Utajení

není předmětem státního či obchodního tajemství

Organizační jednotka

Přírodovědecká fakulta

Příznaky

Mezinárodní význam, Recenzováno

---

Anotace

V originále

In recent years, there has been remarkable progress in machine learning for protein-protein interactions. However, prior work has predominantly focused on improving learning algorithms, with less attention paid to evaluation strategies and data preparation. Here, we demonstrate that further development of machine learning methods may be hindered by the quality of existing train-test splits. Specifically, we find that commonly used splitting strategies for protein complexes, based on protein sequence or metadata similarity, introduce major data leakage. This may result in overoptimistic evaluation of generalization, as well as unfair benchmarking of the models, biased towards assessing their overfitting capacity rather than practical utility. To overcome the data leakage, we recommend constructing data splits based on 3D structural similarity of protein-protein interfaces and suggest corresponding algorithms. We believe that addressing the data leakage problem is critical for further progress in this research area.

---

Návaznosti

EF17_043/0009632, projekt VaV	Název: CETOCOEN Excellence
LM2023055, projekt VaV	Název: Česká národní infrastruktura pro biologická data Investor: Ministerstvo školství, mládeže a tělovýchovy ČR, ELIXIR-CZ: Česká národní infrastruktura pro biologická data
LM2023069, projekt VaV	Název: Výzkumná infrastruktura RECETOX Investor: Ministerstvo školství, mládeže a tělovýchovy ČR, Výzkumná infrastruktura RECETOX
857560, interní kód MU (Kód CEP: EF17_043/0009632)	Název: CETOCOEN Excellence (Akronym: CETOCOEN Excellence) Investor: Evropská unie, CETOCOEN Excellence, Spreading excellence and widening participation
90254, velká výzkumná infrastruktura	Název: e-INFRA CZ II