Los investigadores presentan AdvancedMathBench, un conjunto de benchmarks diseñado para evaluar las capacidades de razonamiento matemático avanzado de los grandes modelos de lenguaje, abordando lagunas en el alcance disciplinar y la granularidad de la evaluación encontradas en los benchmarks existentes.
El conjunto incluye ProverBench, que contiene 296 problemas a nivel de pregrado y exámenes de calificación doctoral, y VerifierBench, que consiste en 888 trayectorias de prueba generadas por modelos emparejadas con la verdad fundamental experta para evaluar las capacidades de verificación. Los autores desarrollaron un pipeline de verificación automática dedicado entrenado en anotaciones expertas a gran escala para proporcionar veredictos de corrección y evaluaciones de errores detalladas.
Los experimentos indican que AdvancedMathBench sigue siendo desafiante para los modelos de vanguardia; el modelo mejor rendimiento, GPT-5.5-xhigh, logró solo 75.8 y 66.1 en las divisiones de ProverBench, mientras que el mejor modelo de verificación alcanzó un F1 equilibrado (Balanced F1) de solo 65.1.