研究者らは、科学の継承に関する推論やその系譜に基づいたアイデア生成を評価するために設計されたベンチマークであるIdeaGene-Bench (IG-Bench)を発表した。このベンチマークはIdeaGeneフレームワークに基づいて構築されており、論文を型付きで証拠に基づく「Idea Genome」オブジェクトの集合として表現し、GenomeDiffレコードを使用して突然変異や継承のような進化的動態を追跡する。

  • IG-Benchには1,961件のゴールデン系譜トレース、1,085件のキュレーションされたIdea Genomeオブジェクト、そして10の科学領域にわたる920件のペアワイズGenomeDiffレコードが含まれている。
  • このベンチマークは2つの評価をサポートしている：IG-Examは42のタスクタイプと1,029件のインスタンスでクローズドフォームの系譜推論をテストし、IG-Arenaは系譜条件付きのPopulation-Evolution Score (PES)を使用して生成を評価する。
  • 14人のLLMベースの科学者に関する実験は、構成上のボトルネックを示しており、最も強力なシステムでも系譜推論タスクで正確率27.3%にとどまった。

著者らはこれを重要と考えている。現在のベンチマークは、新しい仕事が以前のメカニズムを再組み合わせし修復するという科学のアイデアの継承構造をAIが追跡できるかどうかを評価することに失敗しているからである。