Benchmark · multimodal

MathVista

0 resultados 0 modelos

MathVista es un benchmark multimodal que mide el razonamiento matemático sobre entradas visuales: figuras, gráficos, diagramas geométricos y gráficas científicas. El rendimiento se informa como accuracy (exactitud): la proporción de preguntas respondidas correctamente.

Ejemplo: Un ítem típico combina una imagen —un diagrama geométrico, la gráfica de una función, un gráfico de barras o una tabla— con una pregunta que solo se resuelve leyendo detalles visuales finos y razonando después matemáticamente, como calcular una longitud a partir de una figura rotulada o leer un valor en un gráfico. Los ítems son de opción múltiple o de respuesta libre (entero, decimal o lista).
Puntuación: La métrica es la accuracy (exactitud). Como las respuestas son libres o de opción múltiple, primero un LLM extrae la respuesta final breve de la respuesta completa del modelo; se normaliza y se compara con la respuesta correcta por coincidencia exacta. La exactitud es la fracción de ítems correctos, y se informa también desglosada por tipo de tarea y tipo de razonamiento.
Verificación: La evaluación usa dos particiones: un conjunto testmini de 1000 ítems con respuestas públicas para puntuar localmente, y un conjunto test mayor de unos 5141 ítems cuyas respuestas están ocultas y solo se puntúan enviando las predicciones a la tabla de clasificación oficial. Un resultado se considera correcto cuando lo acepta el proceso de extracción de la respuesta más coincidencia exacta.
Por qué importa: Los benchmarks de matemáticas solo de texto y los benchmarks genéricos de respuesta visual a preguntas pasan por alto, cada uno por su lado, la intersección que aborda MathVista: matemáticas imposibles sin una comprensión visual genuina. Reveló una amplia brecha entre los modelos y las personas y se convirtió en una vara de medir estándar del razonamiento matemático visual de los modelos fundacionales multimodales.

Ejemplo resuelto

Tarea

Imagen: un triángulo rectángulo con sus dos catetos rotulados 6 y 8. Pregunta: «¿Cuál es la longitud de la hipotenusa en la figura?». Tipo de respuesta: entero de respuesta libre.

Solución

Por el teorema de Pitágoras, la hipotenusa c = √(6² + 8²) = √(36 + 64) = √100 = 10. Respuesta final: 10.

Explicación

Resolverlo requiere leer las longitudes rotuladas de los lados en el diagrama (comprensión visual) y luego aplicar el teorema de Pitágoras (razonamiento matemático). Calificación: un LLM extrae la respuesta breve «10» de la respuesta del modelo, que se compara con la respuesta correcta por coincidencia exacta normalizada.

Aún no hay puntuaciones verificadas para este benchmark.