연구원들은 기존 벤치마크의 학문적 범위와 평가 세분화 격차를 해결하기 위해 대규모 언어 모델의 고급 수학 추론 능력을 평가하도록 설계된 벤치마크 스위트인 AdvancedMathBench를 소개했습니다.
이 스위트에는 학부 및 박사 자격 시험 수준의 296개 문제가 포함된 ProverBench와 검증 능력을 평가하기 위해 전문가의 정답과 페어링된 888개의 모델 생성 증명 궤도로 구성된 VerifierBench가 포함되어 있습니다. 저자들은 정확성 판정 및 세분화된 오류 평가를 제공하기 위해 대규모 전문가 주석으로 훈련된 전용 자동 검증 파이프라인을 개발했습니다.
실험 결과, AdvancedMathBench는 최전선 모델에게 여전히 도전 과제로 남아 있으며, 가장 우수한 성능을 보인 GPT-5.5-xhigh는 ProverBench 분할에서 각각 75.8과 66.1을 달성하는 데 그쳤고, 가장 우수한 검증 모델도 Balanced F1은 65.1에 불과했습니다.