Los investigadores presentan IdeaGene-Bench (IG-Bench), un benchmark diseñado para evaluar la capacidad de los sistemas de IA para razonar sobre la herencia científica y generar ideas fundamentadas en esa línea. El benchmark se basa en el framework IdeaGene, que representa artículos como conjuntos de objetos «Idea Genome» tipificados y fundamentados en evidencia, y utiliza registros GenomeDiff para rastrear la dinámica evolutiva como mutación e herencia.
- IG-Bench contiene 1.961 trazos dorados de línea, 1.085 objetos Idea Genome curados y 920 registros GenomeDiff por pares a través de 10 dominios científicos.
- El benchmark admite dos evaluaciones: IG-Exam prueba el razonamiento de línea en forma cerrada a través de 42 tipos de tareas con 1.029 instancias, mientras que IG-Arena evalúa la generación utilizando un Population-Evolution Score (PES) condicionado a la línea.
- Los experimentos con 14 científicos basados en LLM revelan un cuello de botella composicional, logrando el sistema más fuerte solo un 27,3% de precisión exacta en tareas de razonamiento de línea.
Los autores consideran esto importante porque los benchmarks actuales fallan al evaluar si la IA puede seguir la estructura de herencia de las ideas científicas, donde el nuevo trabajo recombina y repara mecanismos anteriores.