研究者らは、既存のベンチマークにおける分野の範囲と評価粒度のギャップに対処するため、大規模言語モデルの高度な数学的推論能力を評価するために設計されたベンチマークスイートであるAdvancedMathBenchを発表した。

このスイートには、学部および博士課程の資格試験レベルの296件の問題を含むProverBenchと、検証能力を評価するために専門家による正解とペアリングされた888件のモデル生成証明軌道からなるVerifierBenchが含まれている。著者らは、正確性の判定と細粒度のエラー評価を提供するため、大規模な専門家注釈で訓練された専用の自動検証パイプラインを開発した。

実験の結果、AdvancedMathBenchは最先端モデルにとって依然として困難であり、最良のパフォーマンスを示したGPT-5.5-xhighはProverBenchの分割でそれぞれ75.8と66.1を達成しただけであり、最良の検証モデルもBalanced F1はわずか65.1にとどまった。