AdvancedMathBench 引入 ProverBench 和 VerifierBench 用于高级数学证明评估

研究人员推出了 AdvancedMathBench，这是一个旨在评估大型语言模型高级数学推理能力的基准套件，解决了现有基准在学科范围和评估粒度方面的不足。

该套件包括 ProverBench，包含 296 道本科和博士资格考试级别的问题；以及 VerifierBench，由 888 条模型生成的证明轨迹与专家真实答案配对组成，用于评估验证能力。作者开发了一个专用的自动验证流水线，在大规模专家注释上训练，以提供正确性判决和细粒度的错误评估。

实验表明，AdvancedMathBench 对前沿模型来说仍然具有挑战性；表现最好的模型 GPT-5.5-xhigh 在 ProverBench 的拆分中仅取得了 75.8 和 66.1 的成绩，而最佳的验证模型仅达到了 65.1 的 Balanced F1。