ベンチマーク · multimodal
MMMU-Pro
MMMU-Pro は MMMU ベンチマークの頑健性を強化した版で、6 つの学問分野にわたる大学レベルのマルチモーダル(画像 + テキスト)理解・推論能力を測定します。指標は多肢選択問題の正解率(accuracy)です。
詳しく見る
- 例
- ある分野の問題は、画像——図表、グラフ、化学構造式、医用画像など——を大学レベルの設問および最大 10 個の選択肢と組み合わせます。視覚のみ(vision-only)設定では、設問と選択肢の全体がスクリーンショットや写真の中に埋め込まれるため、モデルは画像そのものからテキストを読み取らなければなりません。
- 採点方法
- 正解率(accuracy):モデルが選んだ選択肢を正解キーと完全一致で照合し、スコアは正しく答えた問題の割合です。当て推量を抑えるため候補選択肢は 4 個から 10 個に拡張され、MMMU-Pro の総合スコアは Standard(10 選択肢)設定と Vision(画像入力)設定の平均です(通常は Chain-of-Thought の推論プロンプトが用いられます)。
- 検証方法
- 各問題は正解が 1 つの多肢選択なので採点は自動です。モデルの出力(多くは思考連鎖を含む)から最終的に選ばれた選択肢を抽出し、参照解答と完全一致で照合します。頑健性はデータ自体に組み込まれており——テキストのみのモデルが答えられる問題は除外され、選択肢数は 10 に引き上げられます——そのため高得点は、テキストの近道やまぐれ当たりではなく、真のマルチモーダル推論を反映します。
- 重要な理由
- 元の MMMU は、モデルがテキストのみの近道を突いたり 4 択で当て推量できたりしたためスコアが過大評価されていました。MMMU-Pro はその両方を取り除くので、測定される正解率は大きく下がり、視覚とテキストを本当に統合するモデルをより明確に区別します——専門家レベルのマルチモーダル能力をより誠実に測る指標となります。
解説付きの例
課題
MMMU-Pro 形式による科学(物理)の代表的な問題。[画像:傾斜角 θ = 30° の摩擦のない斜面上に置かれた物体。] 設問:斜面に沿った物体の加速度の大きさはいくらか。選択肢(10):(A) 0 m/s² (B) 1.6 m/s² (C) 2.5 m/s² (D) 3.3 m/s² (E) 4.9 m/s² (F) 5.7 m/s² (G) 6.9 m/s² (H) 7.4 m/s² (I) 8.5 m/s² (J) 9.8 m/s²。視覚のみ設定では、この設問全体がスクリーンショット内に埋め込まれて表示されます。
解答
a = g·sin θ = 9.8 × sin 30° = 9.8 × 0.5 = 4.9 m/s² → (E)
解説
摩擦のない斜面では、面に沿って働く力は重力の成分 mg·sin θ のみなので、加速度は g·sin θ となり物体の質量に依存しません。g·sin 30° = 4.9 m/s² であり、選択肢 (E) に一致します。採点は、抽出した選択肢の記号を正解キーと完全一致で照合します。
このベンチマークの検証済みスコアはまだありません。