研究者らは、現在の大規模言語モデルにおけるパフォーマンスの飽和と不安定性に対処するために設計された、Massive Multitask Language Understandingベンチマークの強化版であるMMLU-Proを発表した。新しいデータセットは、選択肢を4つから10つに拡大し、難易度の高い大学レベルの推論問題を統合し、専門家のレビューを通じてノイズの多い項目を排除している。

  • MMLUと比較して正答率が16%から33%低下し、トップモデルであるGPT-4oはわずか72.6%にとどまった。
  • 24種類のスタイルにわたって、プロンプト変動に対するモデルスコアの感度はMMLUの4〜5%からMMLU-Proではわずか2%に減少した。
  • Chain of Thought推論はMMLU-Proでのパフォーマンスを大幅に向上させ、GPT-4oを19%改善したが、元のベンチマークでは結果を悪化させた。
  • このベンチマークは14のドメインにまたがり、12,000以上の質問を含み、GPT-4oとGPT-4-Turboのようなモデル間の識別力を高めている。

MMLU-Proは、エキスパートレベルの言語理解と推論能力の進捗を追跡するためのより信頼性が高く困難な指標として機能する。