Pesquisadores introduzem o AdvancedMathBench, um conjunto de benchmarks projetado para avaliar as capacidades de raciocínio matemático avançado de grandes modelos de linguagem, abordando lacunas no escopo disciplinar e na granularidade da avaliação encontradas em benchmarks existentes.
O conjunto inclui o ProverBench, contendo 296 problemas nos níveis de graduação e exames de qualificação de doutorado, e o VerifierBench, que consiste em 888 trajetórias de prova geradas por modelos pareadas com a verdade fundamental experta para avaliar as capacidades de verificação. Os autores desenvolveram um pipeline de verificação automática dedicado treinado em anotações expertas em larga escala para fornecer vereditos de correção e avaliações de erros detalhadas.
Experimentos indicam que o AdvancedMathBench permanece desafiador para modelos de ponta; o modelo de melhor desempenho, GPT-5.5-xhigh, alcançou apenas 75.8 e 66.1 nas divisões do ProverBench, enquanto o melhor modelo de verificação atingiu um F1 equilibrado (Balanced F1) de apenas 65.1.