ベンチマーク · math
AIME 2025
AIME 2025 は、難関の高校数学コンテストである 2025 年の American Invitational Mathematics Examination の 15 問を使って、モデルの高度な数学的推論能力を測定します。各問題の答えは 0 から 999 までの整数で、モデルのスコアは正しく解けた問題の割合(多くの場合 pass@1 や avg@k として報告)です。
詳しく見る
- 例
- 典型的な問題は、たとえば整数論や組合せ論といった難度の高いコンテスト問題で、その答えは 0 から 999 までの一つの整数になります。たとえば、与えられた代数的条件を満たす順序対の個数を求める、といった形です。
- 採点方法
- 15 問それぞれを整数の答えの完全一致で採点し、スコアは正しく解けた割合(パーセンテージ)です。答えは実行ごとにばらつくため、通常は多数のサンプルで平均を取る(avg@k)か、pass@1 として報告します。
- 検証方法
- 検証は自動かつ客観的です。モデルが出した最終的な整数を公式の解答と照合し、部分点も人による判定もないため、数値が完全に一致した場合のみ正解として認められます。
- 重要な理由
- AIME の問題は暗記ではなく多段階の創造的な推論を要求するため、このベンチマークは最先端 LLM の数学能力を測る広く注目される指標であり、新しい推論モデルの発表時によく引き合いに出される代表的な数字です。
解説付きの例
課題
AIME 形式の代表的な問題（答えは 0 から 999 までの整数）：√(n² + 85n + 2017) が整数となるすべての正の整数 n の総和を求めよ。
解答
平方完成する：(2m)² − (2n+85)² = 843 = 3·281。平方の差を因数分解する：(2m−2n−85)(2m+2n+85) = 843 より n = 168 または n = 27。総和 = 168 + 27 = 195。
解説
平方完成により条件は平方の差 (2m)² − (2n+85)² = 843 = 3·281 となり、その正の因数分解は n = 168 と n = 27 のみで、和は 195 となる。AIME は唯一の整数解（0–999）の完全一致で採点され、部分点はない。