ベンチマーク · general
MMLU-Pro
MMLU-Pro は、MMLU をより難しく推論重視にした後継ベンチマークで、各問に 10 個の選択肢を持つ多肢選択問題を用いて、多くの学問分野にわたるモデルの知識と問題解決能力を測ります。結果は正答率（パーセント）で示され、正しく答えた問題の割合を表します。
詳しく見る
- 例
- 典型的な問題は、数学・物理・法律・工学などの分野からの多肢選択問題で、複数の推論ステップを要し、モデルは 10 個の選択肢から唯一の正解を選ばなければなりません（元の MMLU は 4 択でした）。
- 採点方法
- 指標は正答率（accuracy）で、モデルが正しい選択肢を選んだ問題の割合を、正解数を総問題数で割って算出します。
- 検証方法
- 各回答は自動で採点され、モデルが選んだ選択肢を既知の正解ラベルと完全一致（exact match）で照合するため、人手による判定は不要です。
- 重要な理由
- トップモデルが元の MMLU をほぼ飽和させていたため、MMLU-Pro の難しい問題と 10 択は識別力を高め、真の推論により敏感になり、進歩をより明確に測れるようにします。
解説付きの例
課題
MMLU-Pro（物理、10 択）。物体を地面から 20 m/s で、水平から 30° の角度で発射する（g = 10 m/s²、空気抵抗は無視）。到達する最大の高さはいくらか？A) 2.5 m B) 5.0 m C) 7.5 m D) 10.0 m E) 12.5 m F) 15.0 m G) 17.3 m H) 20.0 m I) 3.5 m J) 8.7 m
解答
v_y = v·sin30° = 20 × 0.5 = 10 m/s; h_max = v_y² / (2g) = 10² / (2 × 10) = 5.0 m → B
解説
最高点では鉛直方向の速度が 0 になるため、h_max = v_y²/(2g)（v_y = v·sin30°）で求められ、高さは鉛直成分だけで決まる。MMLU-Pro は選んだ記号を正解キーと完全一致で照合して採点する（10 択での accuracy）。
| 日付 | モデル | スコア | ソース |
|---|---|---|---|
| 2025-07-28 | GLM-4.5 | 84.6% | 智譜AIがインテリジェントエージェント向けにGLM-4.5およびGLM-4.5-Airの基盤モデルをリリース |
| 2025-05-30 | Deepseek-R1-0528 | 85.0% | DeepSeekがR1モデルを更新し、推論能力とベンチマークスコアを向上 |
| 2025-04-15 | Gemini 2.0 Flash | 77.6% | Google、Gemini 1.5 Proの2倍の速度と向上した品質を持つGemini 2.0 Flashをリリース |
| 2025-03-24 | DeepSeek-V3-0324 | 81.2% | DeepSeek-V3-0324は、DeepSeek-V3と比較して推論、コーディング、中国語の文章作成を改善 |
| 2024-12-17 | Falcon3-3B-Instruct | 29.7% | Falcon3ファミリーが科学、数学、コード能力を強化した5つのオープンモデルをリリース |
| 2024-12-17 | Falcon3-7B-Base | 39.2% | Falcon3ファミリーが科学、数学、コード能力を強化した5つのオープンモデルをリリース |
| 2024-12-17 | Falcon3-10B-Base | 42.5% | Falcon3ファミリーが科学、数学、コード能力を強化した5つのオープンモデルをリリース |
| 2024-06-20 | Claude 3.5 Sonnet | 90.4% | AnthropicがClaude 3.5 Sonnetの補遺をリリースし、コーディングとビジョンベンチマークが改善 |
| 2024-06-03 | GPT-4o | 72.6% | MMLU-Proは、10つの選択肢と推論中心の質問によるより堅牢なベンチマークを導入 |
| 2024-06-03 | GPT-4-Turbo | 63.7% | MMLU-Proは、10つの選択肢と推論中心の質問によるより堅牢なベンチマークを導入 |
| 2024-06-03 | GPT-4o | 72.6% | MMLU-Pro paper |