Pesquisadores apresentam o IdeaGene-Bench (IG-Bench), um benchmark projetado para avaliar a capacidade dos sistemas de IA de raciocinar sobre herança científica e gerar ideias fundamentadas nessa linhagem. O benchmark é construído sobre o framework IdeaGene, que representa artigos como conjuntos de objetos «Idea Genome» tipados e fundamentados em evidências, e utiliza registros GenomeDiff para rastrear a dinâmica evolutiva, como mutação e herança.
- IG-Bench contém 1.961 traços dourados de linhagem, 1.085 objetos Idea Genome curados e 920 registros GenomeDiff em pares através de 10 domínios científicos.
- O benchmark suporta duas avaliações: o IG-Exam testa o raciocínio de linhagem em forma fechada através de 42 tipos de tarefas com 1.029 instâncias, enquanto o IG-Arena avalia a geração usando um Population-Evolution Score (PES) condicionado à linhagem.
- Experimentos com 14 cientistas baseados em LLM revelam um gargalo composicional, com o sistema mais forte alcançando apenas 27,3% de precisão exata em tarefas de raciocínio de linhagem.
Os autores consideram isso importante porque os benchmarks atuais falham em avaliar se a IA pode seguir a estrutura de herança das ideias científicas, onde o novo trabalho recombina e repara mecanismos anteriores.