ベンチマーク · multimodal

LongVideoBench

0 結果 0 モデル

LongVideoBench は、フレームとテキストが交互に並ぶ形で提示される字幕付きの長尺動画（最長1時間）をマルチモーダルモデルがどれだけ理解できるかを測る多肢選択式の質問応答ベンチマークです。性能は正解率（accuracy）、すなわちモデルが正しい選択肢を選んだ問題の割合で測定されます。

詳しく見る

例: 長尺動画に対する「referring reasoning（参照推論）」型の問題：設問には特定の瞬間を指し示す参照クエリが含まれ（例：「司会者が赤い箱を開けた直後の場面」）、モデルはサンプリングされたフレームと字幕からその瞬間を見つけ出し、そこで何が起きるかについて正しい選択肢を選ぶ必要があります。
採点方法: 指標は多肢選択の正解率です：スコア =（正解した問題数）/（総問題数）。モデルが選んだ選択肢が唯一の正解と一致した場合のみ、その問題は正解と数えられます。結果は通常、4つの長さグループ（8〜15秒、15〜60秒、3〜10分、15〜60分）と問題カテゴリ別にも集計されます。
検証方法: 予測した選択肢のラベルが正解ラベルと完全に一致したとき、その解答は受理されます。検証セット（1,337問）は公開された正解付きで提供されるためローカルで正解率を計算でき、テストセットの正解は非公開で公式リーダーボードにより評価されるため、公開されるスコアは検証セットを用います。
重要な理由: 多くの動画ベンチマークは数フレームだけで解けてしまいますが、LongVideoBench の「referring reasoning」設計は、最長1時間の動画＋字幕の交互入力に埋もれた特定の細部を、モデルに探し出して推論させます。これにより動画が長くなるにつれ正解率がどう低下するかを明らかにし、真の長文脈マルチモーダル検索能力を試します。

解説付きの例

課題

代表的な出題例。入力：約25分の料理系 vlog からサンプリングしたフレーム＋タイムスタンプ付き字幕。referring reasoning 型の問題：参照クエリ：司会者が初めてフライパンに塩を入れた瞬間。設問：その瞬間の直後に司会者が加える食材はどれですか？ A) にんにく B) 砂糖 C) 刻んだ玉ねぎ D) オリーブオイル E) 黒こしょう

解答

字幕・映像の手がかりを使い、サンプリングされたフレームの中から参照された瞬間（初めて塩を入れる場面）を特定する。その直後のフレームを確認する。次に加えられる食材を見極める。正解の選択肢：C) 刻んだ玉ねぎ。

解説

参照クエリが唯一の基準となる瞬間を固定し、直後のフレームが実際に示す内容と一致する選択肢は1つだけです。誤答選択肢は別の箇所に登場する、または登場しないもっともらしい食材なので、正しい区間を検索せずに推測すると外れます。採点：選んだ記号と正解選択肢の完全一致で、この問題は全体の正解率に算入されます。

このベンチマークの検証済みスコアはまだありません。