शोधकर्ताओं ने IdeaGene-Bench (IG-Bench) पेश किया, एक बेंचमार्क जो AI प्रणालियों की वैज्ञानिक उत्तराधिकार के बारे में तर्क करने और उस वंश-रेखा पर आधारित विचारों को उत्पन्न करने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है। यह बेंचमार्क IdeaGene फ्रेमवर्क पर बनाया गया है, जो लेखनों को प्रकारबद्ध और प्रमाण-आधारित "Idea Genome" वस्तुओं के सेट के रूप में दर्शाता है और उत्परिवर्तन और उत्तराधिकार जैसे विकासशील गतिशीलता को ट्रैक करने के लिए GenomeDiff रिकॉर्ड का उपयोग करता है।
- IG-Bench में 1,961 स्वर्ण वंश-रेखा ट्रेस, 1,085 चयनित Idea Genome वस्तुएं और 10 वैज्ञानिक क्षेत्रों में 920 जोड़ेदार GenomeDiff रिकॉर्ड शामिल हैं।
- बेंचमार्क दो मूल्यांकनों का समर्थन करता है: IG-Exam 42 कार्य प्रकारों के साथ 1,029 उदाहरणों के माध्यम से बंद-रूप वंश-रेखा तर्क की परीक्षा लेता है, जबकि IG-Arena वंश-शर्तित Population-Evolution Score (PES) का उपयोग करके उत्पादन का मूल्यांकन करता है।
- 14 LLM-आधारित वैज्ञानिकों पर प्रयोगों ने एक संयोजक बॉटलनेक को उजागर किया, जिसमें सबसे शक्तिशाली प्रणाली ने वंश-रेखा तर्क कार्यों में केवल 27.3% सटीक सटीकता हासिल की।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि वर्तमान बेंचमार्क इस बात का मूल्यांकन करने में विफल रहते हैं कि क्या AI वैज्ञानिक विचारों के उत्तराधिकार संरचना का पालन कर सकता है, जहां नया कार्य पूर्ववर्ती तंत्रों को पुनः संयोजित और मरम्मत करता है।