يقدم الباحثون AdvancedMathBench، وهي مجموعة معايير مصممة لتقييم قدرات الاستدلال الرياضي المتقدم في نماذج اللغة الكبيرة، مما يعالج الفجوات في النطاق التأليفي ودقة التقييم الموجودة في المعايير الحالية.
تتضمن المجموعة ProverBench، الذي يحتوي على 296 مشكلة بمستوى البكالوريوس وامتحانات أهلية الدكتوراه، وVerifierBench، الذي يتكون من 888 مسارًا للبرهان تم إنشاؤه بواسطة النموذج ومقترنًا بحقيقة أساسية خبيرة لتقييم قدرات التحقق. طور المؤلفون خط أنابيب تحقق تلقائي مخصص مدرب على تعليقات خبيرة واسعة النطاق لتقديم أحكام الصحة وتقييمات الأخطاء الدقيقة.
تشير التجارب إلى أن AdvancedMathBench لا يزال صعبًا بالنسبة للنماذج المتطورة؛ فقد حقق أفضل نموذج أداءً، وهو GPT-5.5-xhigh، فقط 75.8 و66.1 على تقسيمات ProverBench، بينما حقق أفضل نموذج تحقق Balanced F1 بنسبة 65.1 فقط.