Исследователи представляют IdeaGene-Bench (IG-Bench), бенчмарк, предназначенный для оценки способности ИИ-систем рассуждать о научном наследии и генерировать идеи, основанные на этом родословии. Бенчмарк построен на основе фреймворка IdeaGene, который представляет статьи в виде наборов типизированных объектов «Idea Genome», опирающихся на доказательства, и использует записи GenomeDiff для отслеживания эволюционной динамики, такой как мутация и наследование.
- IG-Bench содержит 1 961 золотую трассу родословной, 1 085 курируемых объектов Idea Genome и 920 парных записей GenomeDiff по 10 научным областям.
- Бенчмарк поддерживает две оценки: IG-Exam тестирует рассуждение о замкнутом родословии по 42 типам задач с 1 029 примерами, а IG-Arena оценивает генерацию с использованием lineage-conditioned Population-Evolution Score (PES).
- Эксперименты с 14 учеными на основе LLM выявляют композиционный бутылочный горлышко, при этом сильнейшая система достигла лишь 27,3% точной точности в задачах рассуждения о родословной.
Авторы считают это важным, потому что текущие бенчмарки не оценивают, может ли ИИ следовать структуре наследования научных идей, где новая работа перекомбинирует и восстанавливает более ранние механизмы.