शोधकर्ता AdvancedMathBench पेश करते हैं, एक बेंचमार्क सूट जो मौजूदा बेंचमार्क्स में पाए गए अनुशासनात्मक दायरे और मूल्यांकन ग्रैन्युलैरिटी में अंतराल को दूर करते हुए, बड़े भाषा मॉडलों की उन्नत गणितीय तर्कशक्ति क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
सूट में ProverBench शामिल है, जिसमें स्नातक और डॉक्टरेट योग्यता परीक्षा स्तर की 296 समस्याएं हैं, और VerifierBench, जो सत्यापन क्षमताओं का मूल्यांकन करने के लिए विशेषज्ञ भूमि वास्तविकता के साथ जोड़े गए 888 मॉडल-जनित प्रमाण ट्रैजेक्टरी से बना है। लेखकों ने सही निर्णयों और बारीक त्रुटि मूल्यांकन प्रदान करने के लिए बड़े पैमाने पर विशेषज्ञ एनोटेशन पर प्रशिक्षित एक समर्पित स्वचालित सत्यापन पाइपलाइन विकसित की।
प्रयोग संकेत देते हैं कि AdvancedMathBench अग्रिम मॉडल के लिए चुनौतीपूर्ण बना हुआ है; सर्वोत्तम प्रदर्शन करने वाला मॉडल, GPT-5.5-xhigh, ने ProverBench स्प्लिट्स पर केवल 75.8 और 66.1 प्राप्त किए, जबकि सर्वोत्तम सत्यापन मॉडल ने केवल 65.1 का संतुलित F1 (Balanced F1) हासिल किया।