Benchmark · math
FrontierMath
FrontierMath 是 Epoch AI 推出的基准测试，用于衡量 AI 模型解决极其困难、原创且达到科研水平的数学问题的能力。分数是模型正确解答问题的百分比，目前的模型只能解出很小一部分，远未达到饱和。
了解更多
- 示例
- 一道此前从未公开发表的题目，取自数论、代数几何或组合数学等高级领域，其求解需要深厚的专业知识，并最终归结为一个确定的答案（例如某个具体的整数或精确的数学对象）。
- 评分方式
- 指标是准确率（accuracy）：最终答案与参考答案完全一致的题目所占的比例，以百分比表示。
- 验证方式
- 每道题都有唯一确定、可自动核验的答案，只有与参考答案完全一致时才算通过；题目由数学专家精心设计，几乎无法靠猜测蒙对。
- 为何重要
- 由于题目都是全新的，它能抵御死记硬背，而且至今仍远未被攻克，因此它是少数几个仍能清晰区分真正高级数学推理与模式匹配的数学基准之一。
示例解析
任务
求满足 $0 \le n < 3^{13}$ 且中心二项式系数 $\binom{2n}{n}$ 不能被 $3$ 整除的整数 $n$ 的个数。
解答
由 Kummer 定理，$3 \nmid \binom{2n}{n}$ 当且仅当在 3 进制下做加法 $n+n$ 时没有进位，即 $n$ 的每一位 3 进制数字都是 0 或 1。在 $0 \le n < 3^{13}$ 范围内，这相当于 13 位数字每位有 2 种选择，所以个数为 $2^{13} = 8192$。
解析
Kummer 定理给出 $v_3\binom{2n}{n}$ 等于在 3 进制下把 $n$ 与自身相加时的进位次数；无进位要求每一位 3 进制数字为 0 或 1，即 13 位数字每位 2 种选择。评分：自动检查器对唯一的最终整数（8192）做精确匹配。