Les chercheurs présentent IdeaGene-Bench (IG-Bench), un benchmark conçu pour évaluer la capacité des systèmes d'IA à raisonner sur l'héritage scientifique et à générer des idées ancrées dans cette lignée. Le benchmark est construit sur le framework IdeaGene, qui représente les articles comme des ensembles d'objets "Idea Genome" typés et ancrés par des preuves, et utilise des enregistrements GenomeDiff pour suivre la dynamique évolutive telle que la mutation et l'héritage.
- IG-Bench contient 1 961 traces de lignée dorées, 1 085 objets Idea Genome curatés et 920 enregistrements GenomeDiff par paire sur 10 domaines scientifiques.
- Le benchmark prend en charge deux évaluations : IG-Exam teste le raisonnement de lignée à forme fermée sur 42 types de tâches avec 1 029 instances, tandis que IG-Arena évalue la génération à l'aide d'un Population-Evolution Score (PES) conditionné par la lignée.
- Les expériences menées sur 14 scientifiques basés sur des LLM révèlent un goulot d'étranglement compositionnel, le système le plus performant atteignant seulement 27,3 % de précision exacte sur les tâches de raisonnement de lignée.
Les auteurs considèrent cela comme important car les benchmarks actuels échouent à évaluer si l'IA peut suivre la structure d'héritage des idées scientifiques, où un nouveau travail recompose et répare les mécanismes antérieurs.