Исследователи представляют AdvancedMathBench, набор бенчмарков, предназначенный для оценки способностей больших языковых моделей к продвинутому математическому рассуждению, устраняя пробелы в дисциплинарном охвате и детализации оценки, существующие в текущих бенчмарках.
Набор включает ProverBench, содержащий 296 задач уровня бакалавриата и докторантуры (квалификационные экзамены), и VerifierBench, состоящий из 888 траекторий доказательств, сгенерированных моделями, в паре с экспертной истиной для оценки способностей верификации. Авторы разработали выделенный автоматический конвейер верификации, обученный на масштабных экспертных аннотациях, для предоставления вердиктов о корректности и детализированной оценки ошибок.
Эксперименты показывают, что AdvancedMathBench остается сложным для передовых моделей; лучшая модель GPT-5.5-xhigh достигла только 75.8 и 66.1 на сплитах ProverBench, в то время как лучшая модель верификации достигла сбалансированного F1 (Balanced F1) всего лишь 65.1.