Benchmark · multimodal

Video-MME

0 resultados 0 modelos

Video-MME es un benchmark integral que evalúa a los LLM multimodales en la comprensión de vídeo: cortos, medios y largos. El rendimiento se expresa como exactitud (accuracy) en preguntas de opción múltiple, sobre 2.700 preguntas anotadas por humanos en 900 vídeos (254 horas) de seis dominios visuales.

Ejemplo: Un modelo ve un fragmento de vídeo (opcionalmente con sus pistas de subtítulos y audio) y responde una pregunta de opción múltiple con cuatro opciones que exige razonar sobre el contenido visual a lo largo del tiempo; por ejemplo, identificar el orden en que ocurren los sucesos en un clip deportivo de duración media.
Puntuación: La métrica es la exactitud: el porcentaje de preguntas de cuatro opciones respondidas correctamente. Los resultados suelen darse sin y con subtítulos, desglosados por duración del vídeo (corto/medio/largo) y por dominio, y luego promediados en una cifra global.
Verificación: La letra elegida por el modelo (A/B/C/D) se extrae de su salida y se compara por coincidencia exacta con la respuesta de referencia anotada por expertos; la fracción de aciertos es la exactitud. Todos los vídeos y preguntas se recopilan y anotan manualmente para minimizar la fuga de datos, de modo que las cifras son comparables en la tabla pública.
Por qué importa: Fue el primer benchmark integral que prueba a los LLM multimodales en vídeos reales de un amplio rango de duraciones (hasta cerca de una hora) y dominios diversos, usando varias modalidades (fotogramas, subtítulos, audio), y revela un razonamiento temporal y de vídeo largo genuino en lugar del reconocimiento de un solo fotograma.

Ejemplo resuelto

Tarea

Se proporciona un fragmento de duración media (~10 min) del dominio «Conocimiento» junto con su pista de subtítulos. Pregunta: «¿Cuál es la razón principal que da el presentador para la amplia adopción de la técnica descrita?» Opciones: A) Era más barata que las alternativas; B) No requería formación especial; C) Producía resultados más consistentes; D) Estaba exigida por ley. (Ítem ilustrativo en el formato del benchmark.)

Solución

Combina las imágenes en pantalla con la narración de subtítulos/audio, descarta las tres opciones que el clip no respalda y elige la que sí. Respuesta final: C.

Explicación

Las preguntas de Video-MME son de opción múltiple de cuatro opciones con una sola correcta, así que exactamente una opción (C) coincide con la evidencia del clip; la calificación es la coincidencia exacta de la letra con la etiqueta de referencia de los expertos, puntuada como exactitud (aciertos ÷ total).

Aún no hay puntuaciones verificadas para este benchmark.