يقدم الباحثون IdeaGene-Bench (IG-Bench)، وهو معيار مصمم لتقييم قدرة أنظمة الذكاء الاصطناعي على الاستدلال حول الوراثة العلمية وتوليد أفكار متجذرة في هذا النسب. تم بناء المعيار على إطار عمل IdeaGene، الذي يمثل الأوراق البحثية كمجموعات من كائنات "Idea Genome" ذات أنواع ومبنية على الأدلة، ويستخدم سجلات GenomeDiff لتتبع الديناميكيات التطورية مثل الطفرة والوراثة.
- يحتوي IG-Bench على 1,961 مسارًا نسبيًا ذهبيًا، و1,085 كائن Idea Genome مُختار بعناية، و920 سجل GenomeDiff ثنائي عبر 10 مجالات علمية.
- يدعم المعيار تقييمين: يختبر IG-Exam الاستدلال النسبي مغلق الشكل عبر 42 نوعًا من المهام بـ 1,029 حالة، بينما يقيّم IG-Arena التوليد باستخدام درجة تطور السكان المشروطة بالنسب (PES).
- كشفت التجارب على 14 عالمًا قائمًا على LLM عن عنق زجاجة تركيبي، حيث حقق أقوى نظام دقة دقيقة تبلغ 27.3٪ فقط في مهام الاستدلال النسبي.
يعتقد المؤلفون أن هذا مهم لأن المعايير الحالية تفشل في تقييم ما إذا كان الذكاء الاصطناعي يمكنه تتبع بنية وراثة الأفكار العلمية، حيث يعيد العمل الجديد تركيب وإصلاح الآليات السابقة.