Benchmark · multimodal

CharXiv

0 resultados 0 modelos

CharXiv es un benchmark que evalúa qué tan bien los LLM multimodales entienden gráficos científicos reales extraídos de artículos de arXiv; informa la exactitud por separado para preguntas descriptivas (leer elementos básicos del gráfico) y preguntas de razonamiento (comparar y analizar valores).

Ejemplo: Dada la imagen de un gráfico, una tarea descriptiva puede pedir leer el título, contar las entradas de la leyenda o indicar la etiqueta de una marca, mientras que una tarea de razonamiento puede pedir comparar dos series trazadas y decir cuál es mayor en un punto dado, siempre respondible solo con el contenido visual del gráfico.
Puntuación: Cada pregunta admite una respuesta breve de formato libre. GPT-4o actúa como juez automático que extrae la respuesta del modelo y asigna un valor binario correcto/incorrecto frente a la respuesta de referencia validada por humanos; la puntuación es la exactitud (porcentaje de aciertos), informada por separado para los subconjuntos descriptivo y de razonamiento.
Verificación: Los 2.323 gráficos, sus preguntas y las respuestas de referencia están todos curados a mano y verificados por expertos humanos; una respuesta se acepta como correcta solo cuando el evaluador GPT-4o la juzga coincidente con la referencia, y la exactitud humana reportada (alrededor del 80,5% en razonamiento) sirve como techo de referencia.
Por qué importa: Leer gráficos es central para aplicar los MLLM a artículos científicos e informes financieros, pero los benchmarks previos usaban gráficos simples y basados en plantillas que exageraban el progreso; los gráficos naturales y diversos de arXiv en CharXiv revelan una gran brecha entre los mejores modelos y los humanos, convirtiéndolo en una prueba exigente y realista de razonamiento visual.

Ejemplo resuelto

Tarea

[Ítem ilustrativo de razonamiento] Un gráfico de barras agrupadas titulado «Validation Accuracy by Model Size». Eje X: tamaño del modelo (7B, 13B, 70B); eje Y: exactitud (%). Cada grupo tiene dos barras, Dataset A y Dataset B: 7B → A=61, B=58; 13B → A=68, B=62; 70B → A=79, B=71. Pregunta (da una respuesta breve): ¿para qué tamaño de modelo es mayor la brecha de exactitud entre Dataset A y Dataset B?

Solución

Brecha por grupo A − B: 7B → 61 − 58 = 3; 13B → 68 − 62 = 6; 70B → 79 − 71 = 8. Mayor = 8 → respuesta: 70B.

Explicación

Es una pregunta de razonamiento porque hay que leer las seis alturas de barra y comparar sus diferencias, no solo extraer un valor; el juez GPT-4o asigna la respuesta breve a la referencia «70B» y la puntúa de forma binaria, contribuyendo a la métrica de exactitud de razonamiento.

Aún no hay puntuaciones verificadas para este benchmark.