Benchmark · math
MATH-500
MATH-500 是竞赛数学数据集 MATH 的一个包含 500 道题目的子集，用于测试模型解决高难度数学题的能力。分数是模型给出正确最终答案的题目所占的百分比。
了解更多
- 示例
- 一个典型题目是竞赛风格的数学题——例如一道代数、几何或数论题，需要经过若干步推理后给出唯一的最终答案（一个数字或闭式表达式）。
- 评分方式
- 分数是模型答对的题目在 500 道中所占的比例，即 accuracy = 正确的最终答案数 / 500，以百分比表示。
- 验证方式
- 当模型的最终答案与参考答案完全一致时，该题目才算解出（对最终答案进行自动等价性检查，而不是检查中间步骤）。
- 为何重要
- 它是一个紧凑且被广泛使用的数学推理衡量标准，运行速度比完整的 MATH 数据集更快，因此常被用作比较推理模型时的快速检验。
示例解析
任务
对于某些 $k$ 值，二次方程 $x^2 - kx + 16 = 0$ 只有正整数根。求所有不同的可能 $k$ 值之和。
解答
Roots $r,s$: $rs=16$, $k=r+s$. Pairs $(1,16),(2,8),(4,4)\Rightarrow k\in\{17,10,8\}$. Distinct sum $=17+10+8=\boxed{35}$.
解析
根 $r,s$ 为正整数，满足 $rs=16$ 且 $k=r+s$；因数对 $(1,16),(2,8),(4,4)$ 给出 $k=17,10,8$，因此不同值之和为 $35$。MATH-500 按归一化后 \boxed{} 最终答案的精确匹配评分，所以只有 $35$ 计入。