ベンチマーク · math
MATH-500
MATH-500 は、競技数学のデータセット MATH から 500 問を抜き出したサブセットで、難しい数学問題を解くモデルの能力を測ります。スコアは、モデルが最終的な答えを正解した問題の割合（パーセント）です。
詳しく見る
- 例
- 典型的な問題は競技レベルの数学問題で、たとえば代数・幾何・数論の問題を数ステップ推論した末に、単一の最終的な答え（数値や閉じた形の式）を求めるものです。
- 採点方法
- スコアは 500 問のうちモデルが正解した割合、すなわち accuracy = 正しい最終回答数 / 500 で、パーセントで表します。
- 検証方法
- モデルの最終的な答えが参照解答と完全に一致したときにその問題は正解とみなされます（途中の手順ではなく、最終的な答えの自動的な等価性チェック）。
- 重要な理由
- これは数学的推論を測る、コンパクトで広く使われる指標であり、完全な MATH セットより速く実行できるため、推論モデルを比較する際の手軽なチェックとしてよく使われます。
解説付きの例
課題
ある $k$ の値に対して、二次方程式 $x^2 - kx + 16 = 0$ は正の整数解のみを持つ。$k$ の相異なるすべての可能な値の総和を求めよ。
解答
Roots $r,s$: $rs=16$, $k=r+s$. Pairs $(1,16),(2,8),(4,4)\Rightarrow k\in\{17,10,8\}$. Distinct sum $=17+10+8=\boxed{35}$.
解説
解 $r,s$ は $rs=16$ かつ $k=r+s$ を満たす正の整数であり、因数の組 $(1,16),(2,8),(4,4)$ から $k=17,10,8$ が得られるので、相異なる値の和は $35$ である。MATH-500 は正規化した最終的な \boxed{} の答えの完全一致で採点するため、$35$ のみが正解となる。