Les chercheurs présentent AdvancedMathBench, une suite de benchmarks conçue pour évaluer les capacités de raisonnement mathématique avancé des grands modèles de langage, comblant les lacunes en matière de portée disciplinaire et de granularité d'évaluation présentes dans les benchmarks existants.
La suite comprend ProverBench, contenant 296 problèmes au niveau licence et doctorat (examens de qualification), et VerifierBench, qui se compose de 888 trajectoires de preuves générées par le modèle associées à des vérités terrain expertes pour évaluer les capacités de vérification. Les auteurs ont développé un pipeline de vérification automatique dédié, entraîné sur des annotations expertes à grande échelle, pour fournir des verdicts de correction et des évaluations d'erreurs fines.
Les expériences indiquent qu'AdvancedMathBench reste difficile pour les modèles de pointe ; le modèle performant, GPT-5.5-xhigh, n'a atteint que 75,8 et 66,1 sur les splits de ProverBench, tandis que le meilleur modèle de vérification a obtenu un F1 équilibré (Balanced F1) de seulement 65,1.