Benchmark · multimodal

CharXiv

5 resultados 5 modelos

CharXiv es un benchmark que evalúa qué tan bien los LLM multimodales entienden gráficos científicos reales extraídos de artículos de arXiv; informa la exactitud por separado para preguntas descriptivas (leer elementos básicos del gráfico) y preguntas de razonamiento (comparar y analizar valores).

Ejemplo: Dada la imagen de un gráfico, una tarea descriptiva puede pedir leer el título, contar las entradas de la leyenda o indicar la etiqueta de una marca, mientras que una tarea de razonamiento puede pedir comparar dos series trazadas y decir cuál es mayor en un punto dado, siempre respondible solo con el contenido visual del gráfico.
Puntuación: Cada pregunta admite una respuesta breve de formato libre. GPT-4o actúa como juez automático que extrae la respuesta del modelo y asigna un valor binario correcto/incorrecto frente a la respuesta de referencia validada por humanos; la puntuación es la exactitud (porcentaje de aciertos), informada por separado para los subconjuntos descriptivo y de razonamiento.
Verificación: Los 2.323 gráficos, sus preguntas y las respuestas de referencia están todos curados a mano y verificados por expertos humanos; una respuesta se acepta como correcta solo cuando el evaluador GPT-4o la juzga coincidente con la referencia, y la exactitud humana reportada (alrededor del 80,5% en razonamiento) sirve como techo de referencia.
Por qué importa: Leer gráficos es central para aplicar los MLLM a artículos científicos e informes financieros, pero los benchmarks previos usaban gráficos simples y basados en plantillas que exageraban el progreso; los gráficos naturales y diversos de arXiv en CharXiv revelan una gran brecha entre los mejores modelos y los humanos, convirtiéndolo en una prueba exigente y realista de razonamiento visual.

Ejemplo resuelto

Tarea

[Ítem ilustrativo de razonamiento] Un gráfico de barras agrupadas titulado «Validation Accuracy by Model Size». Eje X: tamaño del modelo (7B, 13B, 70B); eje Y: exactitud (%). Cada grupo tiene dos barras, Dataset A y Dataset B: 7B → A=61, B=58; 13B → A=68, B=62; 70B → A=79, B=71. Pregunta (da una respuesta breve): ¿para qué tamaño de modelo es mayor la brecha de exactitud entre Dataset A y Dataset B?

Solución

Brecha por grupo A − B: 7B → 61 − 58 = 3; 13B → 68 − 62 = 6; 70B → 79 − 71 = 8. Mayor = 8 → respuesta: 70B.

Explicación

Es una pregunta de razonamiento porque hay que leer las seis alturas de barra y comparar sus diferencias, no solo extraer un valor; el juez GPT-4o asigna la respuesta breve a la referencia «70B» y la puntúa de forma binaria, contribuyendo a la métrica de exactitud de razonamiento.

Claude 3.5 Sonnet o4-mini GPT-5.2 Thinking Inkling Inkling-Small

Cronología

Fecha	Modelo	Puntuación	Fuente
2026-08-03	Inkling-Small	77.4%	Thinking Machines Lab lanza Inkling-Small, un modelo MoE multimodal de pesos abiertos con 276B
2026-07-17	Inkling	82.0%	Thinking Machines Lab lanza Inkling, un modelo MoE multimodal de pesos abiertos con 975B parámetros
2025-12-11	GPT-5.2 Thinking	88.7%	OpenAI lanza GPT-5.2, superando a Gemini 3 en benchmarks de codificación y razonamiento
2025-04-17	o4-mini	72.0%	OpenAI lanza o4-mini, un modelo de razonamiento multimodal más rápido y económico
2024-06-20	Claude 3.5 Sonnet	95.2%	Anthropic lanza un apéndice de Claude 3.5 Sonnet con mejores benchmarks de codificación y visión