Benchmark · multimodal

MMMU

0 resultados 0 modelos

MMMU (Massive Multi-discipline Multimodal Understanding) evalúa si un modelo puede responder preguntas de nivel universitario que combinan imágenes y texto de muchas disciplinas académicas. El resultado se expresa como porcentaje de respuestas correctas (exactitud).

Ejemplo: Una pregunta puede mostrar un diagrama de química, un gráfico o una imagen médica junto con texto y pedir al modelo que razone y elija la respuesta correcta, como un ítem de un examen universitario.
Puntuación: Cada pregunta se marca como correcta o incorrecta, y la puntuación es el porcentaje de preguntas respondidas correctamente (exactitud).
Verificación: Las respuestas se verifican de forma automática por coincidencia exacta con la respuesta de referencia (en su mayoría opción múltiple, algunas respuestas abiertas cortas), sin necesidad de evaluación humana.
Por qué importa: Mide el razonamiento experto de nivel universitario sobre imágenes y texto en decenas de materias, lo que lo convierte en una prueba exigente de comprensión multimodal real y no solo de habilidad con texto.

Ejemplo resuelto

MMMU (Massive Multi-discipline Multimodal Understanding) plantea preguntas de nivel universitario que combinan texto con una imagen —un diagrama, una gráfica, una estructura química o una tomografía médica— en seis disciplinas, de modo que el modelo debe leer realmente la imagen para responder. Un ítem representativo de Science: la figura adjunta muestra un circuito con una batería de 12 V conectada a dos resistencias en serie, rotuladas R1 = 4 Ω y R2 = 2 Ω. Pregunta: «¿Cuál es la corriente que suministra la batería?», con opciones (A) 1 A, (B) 2 A, (C) 3 A, (D) 6 A. La respuesta correcta es (B) 2 A. Razonamiento: las resistencias en serie se suman, así que la resistencia total es R = 4 Ω + 2 Ω = 6 Ω, y la ley de Ohm da I = V / R = 12 V / 6 Ω = 2 A. El ítem es «multimodal» porque los valores de las resistencias y su disposición en serie solo se obtienen leyendo el esquema, no el texto por sí solo.

Aún no hay puntuaciones verificadas para este benchmark.