연구자들은 과학적 유산을 추론하고 그 계보에 기반한 아이디어를 생성하는 AI 시스템의 능력을 평가하도록 설계된 벤치마크인 IdeaGene-Bench (IG-Bench)를 소개했습니다. 이 벤치마크는 IdeaGene 프레임워크를 기반으로 구축되었으며, 논문들을 유형화된 증거 기반 "Idea Genome" 객체들의 집합으로 표현하고 GenomeDiff 레코드를 사용하여 돌연변이와 유산과 같은 진화적 역학을 추적합니다.

  • IG-Bench에는 1,961개의 골든 계보 트레이스, 1,085개의 큐레이션된 Idea Genome 객체, 그리고 10개 과학 도메인에 걸친 920개의 쌍별 GenomeDiff 레코드가 포함되어 있습니다.
  • 이 벤치마크는 두 가지 평가를 지원합니다: IG-Exam은 42개의 작업 유형과 1,029개의 인스턴스로 폐쇄형 계보 추론을 테스트하는 반면, IG-Arena는 계보 조건부 Population-Evolution Score (PES)를 사용하여 생성을 평가합니다.
  • 14명의 LLM 기반 과학자에 대한 실험은 구성적 병목 현상을 보여주었으며, 가장 강력한 시스템도 계보 추론 작업에서 정확도 27.3%에 불과했습니다.

저자들은 이를 중요하게 생각합니다. 현재 벤치마크들은 새로운 작업이 이전 메커니즘을 재조합하고 수리하는 과학적 아이디어의 유산 구조를 AI가 따라갈 수 있는지 평가하는 데 실패했기 때문입니다.