ベンチマーク · math
FrontierMath
FrontierMath は Epoch AI が公開したベンチマークで、AI モデルが極めて難しく独創的な研究レベルの数学問題をどれだけ解けるかを測る。スコアはモデルが正しく解けた問題の割合で、現在のモデルはごく一部しか解けておらず、飽和には程遠い。
詳しく見る
- 例
- 整数論、代数幾何、組合せ論といった高度な分野から選ばれた、これまで未公開の一問。解くには深い専門知識が必要で、最終的に一つの確定した答え（たとえば特定の整数や厳密な数学的対象）に帰着する。
- 採点方法
- 指標は正解率（accuracy）で、最終的な答えが参照解と完全に一致した問題の割合をパーセントで表す。
- 検証方法
- 各問題には一つの確定した、自動で検証できる答えがあり、参照解と完全に一致したときだけ正解とみなされる。問題は専門の数学者が作成しており、当て推量ではまず正解できないよう設計されている。
- 重要な理由
- 問題が新規のため丸暗記が効かず、今なお解ききられていないため、本物の高度な数学的推論とパターン照合とを今でも明確に切り分けられる、数少ない数学ベンチマークの一つだ。
解説付きの例
課題
$0 \le n < 3^{13}$ を満たし、中心二項係数 $\binom{2n}{n}$ が $3$ で割り切れないような整数 $n$ の個数を求めよ。
解答
Kummer の定理により、$3 \nmid \binom{2n}{n}$ となるのは、3 進法で $n+n$ を足したときに繰り上がりが生じない場合、すなわち $n$ の各 3 進桁が 0 または 1 のときに限る。$0 \le n < 3^{13}$ の範囲では、これは 13 桁それぞれに 2 通りの選択を与えるので、個数は $2^{13} = 8192$ となる。
解説
Kummer の定理は $v_3\binom{2n}{n}$ を、3 進法で $n$ を自身に足すときの繰り上がりの回数として与える。繰り上がりがゼロであるには各 3 進桁が 0 か 1 でなければならず、13 桁で 1 桁あたり 2 通りとなる。採点：自動チェッカーが唯一の最終整数（8192）を厳密に照合する。