ベンチマーク · multimodal
MMMU
MMMU（Massive Multi-discipline Multimodal Understanding）は、多くの学問分野にわたり画像とテキストを組み合わせた大学レベルの問題に、モデルが答えられるかを評価します。結果は正答率（パーセント）で示されます。
詳しく見る
- 例
- 問題では、化学の図やグラフ、医療画像などがテキストとともに提示され、モデルが推論して正しい答えを選びます。大学の試験に出るような設問です。
- 採点方法
- 各問題は正解か不正解で判定され、スコアは正しく答えられた問題の割合（正答率）です。
- 検証方法
- 解答は参照解答との完全一致（exact match）で自動的に検証され（大半は多肢選択、一部は短い自由記述）、人手による判定は不要です。
- 重要な理由
- 数十の科目にわたり画像とテキストを対象とした専門的で大学レベルの推論を測るため、テキストだけの能力ではなく真のマルチモーダル理解を厳しく検証します。
解説付きの例
MMMU（Massive Multi-discipline Multimodal Understanding）は、テキストと画像（図、グラフ、化学構造、医用画像など）を組み合わせた大学レベルの問題を六つの分野にわたって出題し、モデルは答えるために画像を実際に「読み取る」必要がある。代表的な Science の問題：添付の図には、12 V の電池が 2 個の抵抗に直列接続された回路が示され、R1 = 4 Ω と R2 = 2 Ω と表記されている。設問は「電池が供給する電流はいくらか？」で、選択肢は (A) 1 A、(B) 2 A、(C) 3 A、(D) 6 A。正解は (B) 2 A。推論：直列の抵抗は加算されるので合成抵抗は R = 4 Ω + 2 Ω = 6 Ω、Ohm の法則から I = V / R = 12 V / 6 Ω = 2 A となる。この問題が「マルチモーダル」なのは、抵抗値と直列接続という配置が、テキストだけでは分からず回路図を読まなければ得られないからである。
このベンチマークの検証済みスコアはまだありません。