研究人员推出了 IdeaGene-Bench (IG-Bench)，这是一个旨在评估 AI 系统对科学继承关系进行推理并基于该谱系生成创意的基准。该基准建立在 IdeaGene 框架之上，将论文表示为经过类型化且有证据支持的“Idea Genome”对象集合，并使用 GenomeDiff 记录来追踪突变和继承等进化动态。

  • IG-Bench 包含 1,961 条黄金谱系轨迹、1,085 个精心策划的 Idea Genome 对象以及跨 10 个科学领域的 920 对 GenomeDiff 记录。
  • 该基准支持两种评估：IG-Exam 测试涵盖 42 种任务类型的封闭形式谱系推理，共 1,029 个实例；IG-Arena 则使用谱系条件化的人口进化得分 (PES) 评估生成能力。
  • 对 14 位基于 LLM 的科学家的实验揭示了一个组合瓶颈，最强的系统在谱系推理任务上的精确准确率仅为 27.3%。

作者认为这很重要，因为当前的基准未能评估 AI 是否能够遵循科学思想的继承结构，即新工作如何重组和修复早期的机制。