Benchmark · multimodal

Video-MME

0 résultats 0 modèles

Video-MME est un benchmark complet qui évalue les LLM multimodaux sur la compréhension de vidéos courtes, moyennes et longues. La performance est exprimée en exactitude (accuracy) sur des questions à choix multiple, portant sur 2 700 questions annotées par des humains sur 900 vidéos (254 heures) réparties en six domaines visuels.

Exemple: Un modèle regarde un extrait vidéo (éventuellement avec ses pistes de sous-titres et d'audio) et répond à une question à choix multiple à quatre options exigeant un raisonnement sur le contenu visuel dans le temps — par exemple, identifier l'ordre dans lequel les événements surviennent dans un clip sportif de durée moyenne.
Notation: La métrique est l'exactitude : le pourcentage de questions à quatre options répondues correctement. Les résultats sont généralement donnés sans et avec sous-titres, ventilés par durée de vidéo (courte/moyenne/longue) et par domaine, puis moyennés en un chiffre global.
Vérification: La lettre choisie par le modèle (A/B/C/D) est extraite de sa sortie et comparée par correspondance exacte à la réponse de référence annotée par des experts ; la proportion de bonnes réponses constitue l'exactitude. Toutes les vidéos et questions sont collectées et annotées manuellement afin de minimiser les fuites de données, de sorte que les chiffres sont comparables sur le classement public.
Pourquoi c'est important: Ce fut le premier benchmark complet à tester les LLM multimodaux sur de vraies vidéos couvrant une large plage de durées (jusqu'à environ une heure) et des domaines variés, en utilisant plusieurs modalités (images, sous-titres, audio) — révélant un véritable raisonnement temporel et une compréhension des vidéos longues, plutôt que la reconnaissance d'une seule image.

Exemple résolu

Tâche

Un extrait de durée moyenne (~10 min) du domaine « Connaissances » est fourni avec sa piste de sous-titres. Question : « Quelle raison principale le présentateur avance-t-il pour l'adoption massive de la technique décrite ? » Options : A) Elle était moins chère que les alternatives ; B) Elle ne nécessitait aucune formation particulière ; C) Elle produisait des résultats plus constants ; D) Elle était imposée par la loi. (Item illustratif au format du benchmark.)

Solution

Croisez les images à l'écran avec la narration des sous-titres/de l'audio, écartez les trois options que l'extrait n'étaye pas, et choisissez celle qu'il étaye. Réponse finale : C.

Explication

Les questions de Video-MME sont à choix multiple à quatre options avec une seule bonne réponse, donc exactement une option (C) correspond aux indices de l'extrait ; la notation est la correspondance exacte de la lettre avec l'étiquette de référence des experts, comptée en exactitude (bonnes réponses ÷ total).

Aucun score vérifié pour ce benchmark à ce jour.