Benchmark · multimodal
MathVista
O MathVista é um benchmark multimodal que mede o raciocínio matemático sobre entradas visuais: figuras, gráficos, diagramas geométricos e gráficos científicos. O desempenho é reportado como accuracy (acurácia): a proporção de perguntas respondidas corretamente.
Saiba mais
- Exemplo
- Um item típico combina uma imagem — um diagrama geométrico, o gráfico de uma função, um gráfico de barras ou uma tabela — com uma pergunta que só se resolve lendo detalhes visuais finos e depois raciocinando matematicamente, como calcular um comprimento a partir de uma figura rotulada ou ler um valor em um gráfico. Os itens são de múltipla escolha ou de resposta livre (inteiro, decimal ou lista).
- Pontuação
- A métrica é a accuracy (acurácia). Como as respostas são livres ou de múltipla escolha, primeiro um LLM extrai a resposta final curta da resposta completa do modelo; ela é normalizada e comparada com o gabarito por correspondência exata. A acurácia é a fração de itens corretos, também reportada detalhada por tipo de tarefa e tipo de raciocínio.
- Verificação
- A avaliação usa duas partições: um conjunto testmini de 1000 itens com respostas públicas para pontuar localmente, e um conjunto test maior, de cerca de 5141 itens, cujas respostas são ocultas e só pontuadas ao enviar as previsões para o placar de avaliação oficial. Um resultado conta como correto quando o processo de extração da resposta mais correspondência exata o aceita.
- Por que importa
- Benchmarks de matemática apenas textual e benchmarks genéricos de perguntas e respostas visuais deixam de fora, cada um a seu modo, a interseção que o MathVista mira: matemática impossível sem compreensão visual genuína. Ele revelou uma ampla lacuna entre modelos e humanos e se tornou uma régua padrão para o raciocínio matemático visual de modelos fundacionais multimodais.
Exemplo resolvido
Tarefa
Imagem: um triângulo retângulo com seus dois catetos rotulados 6 e 8. Pergunta: «Qual é o comprimento da hipotenusa na figura?». Tipo de resposta: inteiro de resposta livre.
Solução
Pelo teorema de Pitágoras, a hipotenusa c = √(6² + 8²) = √(36 + 64) = √100 = 10. Resposta final: 10.
Explicação
Resolvê-lo exige ler os comprimentos rotulados dos lados no diagrama (compreensão visual) e depois aplicar o teorema de Pitágoras (raciocínio matemático). Correção: um LLM extrai a resposta curta «10» da resposta do modelo, que é comparada ao gabarito por correspondência exata normalizada.
Ainda não há pontuações verificadas para este benchmark.