Benchmark · multimodal

MathVista

0 résultats 0 modèles

MathVista est un benchmark multimodal qui mesure le raisonnement mathématique sur des entrées visuelles : figures, graphiques, schémas géométriques et courbes scientifiques. La performance est rapportée en accuracy (exactitude) : la proportion de questions correctement répondues.

Exemple: Un item type associe une image — un schéma géométrique, la courbe d'une fonction, un diagramme en barres ou un tableau — à une question qui ne se résout qu'en lisant des détails visuels fins puis en raisonnant mathématiquement, par exemple calculer une longueur à partir d'une figure annotée ou lire une valeur sur un graphique. Les items sont à choix multiple ou à réponse libre (entier, décimal ou liste).
Notation: La métrique est l'accuracy (exactitude). Comme les réponses sont libres ou à choix multiple, un LLM extrait d'abord la courte réponse finale de la réponse complète du modèle ; elle est normalisée et comparée à la réponse de référence par correspondance exacte. L'exactitude est la fraction d'items corrects, également rapportée par type de tâche et type de raisonnement.
Vérification: L'évaluation utilise deux partitions : un ensemble testmini de 1000 items aux réponses publiques pour un scoring local, et un ensemble test plus grand d'environ 5141 items dont les réponses sont cachées et notées uniquement en soumettant les prédictions au classement d'évaluation officiel. Un résultat est compté correct lorsque le pipeline d'extraction de la réponse puis de correspondance exacte l'accepte.
Pourquoi c'est important: Les benchmarks de mathématiques uniquement textuels et les benchmarks génériques de questions-réponses visuelles manquent chacun l'intersection que vise MathVista : des mathématiques impossibles sans une véritable compréhension visuelle. Il a révélé un large écart entre les modèles et les humains et est devenu une référence standard du raisonnement mathématique visuel des modèles de fondation multimodaux.

Exemple résolu

Tâche

Image : un triangle rectangle dont les deux côtés de l'angle droit sont annotés 6 et 8. Question : « Quelle est la longueur de l'hypoténuse sur la figure ? » Type de réponse : entier en réponse libre.

Solution

D'après le théorème de Pythagore, l'hypoténuse c = √(6² + 8²) = √(36 + 64) = √100 = 10. Réponse finale : 10.

Explication

Le résoudre exige de lire les longueurs annotées des côtés sur le schéma (compréhension visuelle) puis d'appliquer le théorème de Pythagore (raisonnement mathématique). Notation : un LLM extrait la courte réponse « 10 » de la réponse du modèle, qui est comparée à la référence par correspondance exacte normalisée.

Aucun score vérifié pour ce benchmark à ce jour.