Benchmark · multimodal
CharXiv
CharXiv é um benchmark que testa quão bem os LLMs multimodais entendem gráficos científicos reais extraídos de artigos do arXiv; ele reporta a acurácia separadamente para perguntas descritivas (ler elementos básicos do gráfico) e perguntas de raciocínio (comparar e analisar valores).
Saiba mais
- Exemplo
- Dada a imagem de um gráfico, uma tarefa descritiva pode pedir para ler o título, contar as entradas da legenda ou indicar o rótulo de uma marca, enquanto uma tarefa de raciocínio pode pedir para comparar duas séries plotadas e dizer qual é maior em um ponto dado — sempre respondível apenas pelo conteúdo visual do gráfico.
- Pontuação
- Cada pergunta recebe uma resposta curta de formato livre. O GPT-4o atua como juiz automático que extrai a resposta do modelo e atribui um valor binário correto/incorreto em relação ao gabarito validado por humanos; a pontuação é a acurácia (porcentagem de acertos), reportada separadamente para os subconjuntos descritivo e de raciocínio.
- Verificação
- Os 2.323 gráficos, suas perguntas e as respostas de referência são todos curados à mão e verificados por especialistas humanos; uma resposta é aceita como correta somente quando o avaliador GPT-4o a julga coincidente com a referência, e a acurácia humana reportada (cerca de 80,5% em raciocínio) serve como teto de referência.
- Por que importa
- Ler gráficos é central para aplicar MLLMs a artigos científicos e relatórios financeiros, mas benchmarks anteriores usavam gráficos simples e baseados em modelos que superestimavam o progresso; os gráficos naturais e diversos do arXiv no CharXiv revelam uma grande lacuna entre os melhores modelos e os humanos, tornando-o um teste exigente e realista de raciocínio visual.
Exemplo resolvido
Tarefa
[Item ilustrativo de raciocínio] Um gráfico de barras agrupadas intitulado «Validation Accuracy by Model Size». Eixo X: tamanho do modelo (7B, 13B, 70B); eixo Y: acurácia (%). Cada grupo tem duas barras, Dataset A e Dataset B: 7B → A=61, B=58; 13B → A=68, B=62; 70B → A=79, B=71. Pergunta (dê uma resposta curta): para qual tamanho de modelo a diferença de acurácia entre Dataset A e Dataset B é a maior?
Solução
Diferença por grupo A − B: 7B → 61 − 58 = 3; 13B → 68 − 62 = 6; 70B → 79 − 71 = 8. Maior = 8 → resposta: 70B.
Explicação
É uma pergunta de raciocínio porque é preciso ler as seis alturas de barra e comparar suas diferenças, não apenas extrair um valor; o juiz GPT-4o mapeia a resposta curta para o gabarito «70B» e a pontua de forma binária, contribuindo para a métrica de acurácia de raciocínio.
Ainda não há pontuações verificadas para este benchmark.