Para peneliti memperkenalkan IdeaGene-Bench (IG-Bench), sebuah benchmark yang dirancang untuk mengevaluasi kemampuan sistem AI dalam menalar tentang warisan ilmiah dan menghasilkan ide yang berlandaskan pada garis keturunan tersebut. Benchmark ini dibangun di atas framework IdeaGene, yang merepresentasikan makalah sebagai kumpulan objek "Idea Genome" bertipe dan berbasis bukti, serta menggunakan catatan GenomeDiff untuk melacak dinamika evolusi seperti mutasi dan pewarisan.
- IG-Bench berisi 1.961 jejak garis keturunan emas, 1.085 objek Idea Genome yang dikurasi, dan 920 catatan GenomeDiff berpasangan di seluruh 10 domain ilmiah.
- Benchmark ini mendukung dua evaluasi: IG-Exam menguji penalaran garis keturunan bentuk tertutup pada 42 jenis tugas dengan 1.029 instance, sementara IG-Arena mengevaluasi generasi menggunakan Skor Evolusi Populasi yang dikondisikan oleh garis keturunan (PES).
- Eksperimen pada 14 ilmuwan berbasis LLM mengungkapkan bottleneck komposisional, dengan sistem terkuat hanya mencapai akurasi tepat 27,3% pada tugas penalaran garis keturunan.
Para penulis menganggap ini penting karena benchmark saat ini gagal menilai apakah AI dapat mengikuti struktur warisan ide ilmiah, di mana pekerjaan baru menggabungkan kembali dan memperbaiki mekanisme sebelumnya.