Benchmark · math
FrontierMath
FrontierMath 是 Epoch AI 推出的基准测试，用于衡量 AI 模型解决极其困难、原创且达到科研水平的数学问题的能力。分数是模型正确解答问题的百分比，目前的模型只能解出很小一部分，远未达到饱和。
了解更多
- 示例
- 一道此前从未公开发表的题目，取自数论、代数几何或组合数学等高级领域，其求解需要深厚的专业知识，并最终归结为一个确定的答案（例如某个具体的整数或精确的数学对象）。
- 评分方式
- 指标是准确率（accuracy）：最终答案与参考答案完全一致的题目所占的比例，以百分比表示。
- 验证方式
- 每道题都有唯一确定、可自动核验的答案，只有与参考答案完全一致时才算通过；题目由数学专家精心设计，几乎无法靠猜测蒙对。
- 为何重要
- 由于题目都是全新的，它能抵御死记硬背，而且至今仍远未被攻克，因此它是少数几个仍能清晰区分真正高级数学推理与模式匹配的数学基准之一。
示例解析
FrontierMath 的题目是自成一体的研究级数学问题,其答案是单一的精确值,可由自动检查器(通常是 SymPy)验证,而且这个值足够大或足够具体,几乎无法靠猜测得到。一个符合这种风格的代表性题目:「对每个素数 p,设 ord_p(2) 为 2 模 p 的乘法阶——即满足 2^k ≡ 1 (mod p) 的最小正整数 k。计算所有满足 100 < p < 200 的素数 p 上的 Σ ord_p(2),并给出精确的整数。」答案:2140。推理:这样的素数共有 21 个,对每个 p,ord_p(2) 必定整除 p−1(费马小定理),因此按从小到大的顺序检验 p−1 的各个因数,找出使 2^k ≡ 1 成立的最小 k——例如模 127 时 2^7 = 128 ≡ 1,故 ord = 7,而模 101 时 2 是一个原根,故 ord = 100。把这 21 个阶相加得到 2140,评分程序通过整数的精确匹配来核对答案。(真正的 FrontierMath 问题要难得多,往往需要专家数学家花上数小时,但其格式——一个精确、可由机器核对的数字——正是如此。)
该 benchmark 暂无已验证的得分。