ベンチマーク · multimodal
Video-MME
Video-MME は、マルチモーダル LLM の動画理解を短尺・中尺・長尺にわたって評価する包括的なベンチマークです。性能は多肢選択の正解率で表され、6 つの視覚ドメインにまたがる 900 本の動画（計 254 時間）に対する人手アノテーション済み 2,700 問で測定します。
詳しく見る
- 例
- モデルは動画クリップを視聴し（任意で字幕・音声トラックも利用）、時間をまたぐ視覚内容の推論を要する 4 択問題に回答します。たとえば、中尺のスポーツクリップで出来事が起こる順序を特定するといった課題です。
- 採点方法
- 指標は正解率で、4 択問題に正しく答えた割合です。結果は通常、字幕なしと字幕ありの両方で報告され、動画の長さ（短／中／長）とドメイン別に分けたうえで、全体値として平均化されます。
- 検証方法
- モデルが選んだ記号（A/B/C/D）を出力から抽出し、専門家がアノテーションした正解と完全一致で照合します。正答の割合が正解率です。すべての動画と問題は手作業で収集・アノテーションされ、データ漏洩を最小化しているため、公開リーダーボード上で数値を比較できます。
- 重要な理由
- 実際の動画を対象に、広い長さの範囲（最長で約 1 時間）と多様なドメインにわたり、複数のモダリティ（フレーム・字幕・音声）を用いてマルチモーダル LLM を評価した初の包括的ベンチマークであり、単一フレーム認識ではなく、真の時系列推論と長尺動画の理解力を明らかにします。
解説付きの例
課題
「知識」ドメインの中尺（約 10 分）クリップが字幕トラック付きで提示されます。設問：「説明された手法が広く採用された主な理由として、発表者が挙げているのはどれか？」選択肢：A) 他の手段より安価だったから；B) 特別な訓練が不要だったから；C) より安定した結果が得られたから；D) 法律で義務付けられていたから。（ベンチマークの形式に沿った例示問題です。）
解答
画面の映像と字幕・音声のナレーションを突き合わせ、クリップが裏付けない 3 つの選択肢を除外し、裏付けられる 1 つを選びます。最終解答：C。
解説
Video-MME の設問は 4 択・正解 1 つのみなので、ちょうど 1 つの選択肢（C）がクリップの根拠と一致します。採点は選んだ記号と専門家の正解ラベルとの完全一致で、正解率（正答数 ÷ 総数）として算出されます。
このベンチマークの検証済みスコアはまだありません。