ベンチマーク · math
FrontierMath
FrontierMath は Epoch AI が公開したベンチマークで、AI モデルが極めて難しく独創的な研究レベルの数学問題をどれだけ解けるかを測る。スコアはモデルが正しく解けた問題の割合で、現在のモデルはごく一部しか解けておらず、飽和には程遠い。
詳しく見る
- 例
- 整数論、代数幾何、組合せ論といった高度な分野から選ばれた、これまで未公開の一問。解くには深い専門知識が必要で、最終的に一つの確定した答え（たとえば特定の整数や厳密な数学的対象）に帰着する。
- 採点方法
- 指標は正解率（accuracy）で、最終的な答えが参照解と完全に一致した問題の割合をパーセントで表す。
- 検証方法
- 各問題には一つの確定した、自動で検証できる答えがあり、参照解と完全に一致したときだけ正解とみなされる。問題は専門の数学者が作成しており、当て推量ではまず正解できないよう設計されている。
- 重要な理由
- 問題が新規のため丸暗記が効かず、今なお解ききられていないため、本物の高度な数学的推論とパターン照合とを今でも明確に切り分けられる、数少ない数学ベンチマークの一つだ。
解説付きの例
FrontierMath の問題は、自己完結した研究レベルの数学問題であり、その答えは自動採点器(多くは SymPy)で検証できる単一の厳密な値で、しかも十分に大きいか具体的なので当て推量ではまず得られません。この形式の代表的な例:「各素数 p に対し、ord_p(2) を 2 の p を法とする乗法的位数——すなわち 2^k ≡ 1 (mod p) を満たす最小の正整数 k——とする。100 < p < 200 を満たすすべての素数 p にわたって Σ ord_p(2) を計算し、厳密な整数で答えよ。」答え:2140。推論:そのような素数は 21 個あり、各 p について ord_p(2) は必ず p−1 を割り切る(フェルマーの小定理)ので、2^k ≡ 1 となる最小の k を探して p−1 の約数を小さい順に試す——例えば法 127 では 2^7 = 128 ≡ 1 なので ord = 7、一方で法 101 では 2 は原始根なので ord = 100。これら 21 個の位数を足すと 2140 となり、採点プログラムは整数の完全一致で答えを照合する。(本物の FrontierMath の問題ははるかに難しく、専門の数学者でも数時間かかることが多いが、形式——機械で照合できる一つの厳密な数——はまさにこの通りである。)
このベンチマークの検証済みスコアはまだありません。