ベンチマーク · math
AIME 2024
AIME 2024 は、2024 年の American Invitational Mathematics Examination の 15 問を用いてモデルの高度な数学的推論を測定し、正解した割合を報告します。
詳しく見る
- 例
- 典型的な問題は高校レベルの難しい競技数学の問題で、たとえば整数論や組合せ論の問題であり、答えは 1 つの整数です（AIME の答えは常に整数で、通常 0 から 999 の範囲）。
- 採点方法
- 指標は正解率で、15 問中の正答の割合を表します。したがって 1 問正解ごとに全体の 1/15 の得点になります。
- 検証方法
- 結果は完全一致で判定されます。モデルの最終的な整数の答えが公式解答と一致する必要があり、自動でチェックされ、部分点も人手による採点もありません。
- 重要な理由
- 多段階の推論を要する難しく新しい競技問題の小さな集合であるため、最先端モデルの比較に広く使われ、問題が新しいことで学習データ汚染のリスクが下がります。
解説付きの例
課題
600 以下の正の整数 n のうち、4 または 6 で割り切れるが 5 では割り切れないものはいくつありますか？（AIME の解答は 0 から 999 までの整数です。）
解答
Multiples of 4 or 6 that are ≤ 600: 150 + 100 − 50 = 200. Of these, the ones also divisible by 5 (multiples of 20 or 30, minus 60): 30 + 20 − 10 = 40. Answer: 200 − 40 = 160.
解説
包除原理により 4 または 6 で割り切れる数は 200 個で、そのうち 40 個は 5 でも割り切れるため、残りは 160 個です。AIME は最終的な整数解（0–999）のみを自動採点し、部分点はありません。