Benchmark · multimodal

CharXiv

0 résultats 0 modèles

CharXiv est un benchmark qui évalue dans quelle mesure les LLM multimodaux comprennent de vrais graphiques scientifiques tirés d'articles arXiv ; il rapporte l'exactitude séparément pour les questions descriptives (lire les éléments de base du graphique) et les questions de raisonnement (comparer et analyser des valeurs).

Exemple: À partir de l'image d'un graphique, une tâche descriptive peut demander de lire le titre, de compter les entrées de la légende ou d'indiquer l'étiquette d'une graduation, tandis qu'une tâche de raisonnement peut demander de comparer deux séries tracées et de dire laquelle est la plus grande en un point donné — le tout répondable uniquement à partir du contenu visuel du graphique.
Notation: Chaque question appelle une réponse courte en format libre. GPT-4o joue le rôle de juge automatique qui extrait la réponse du modèle et attribue une note binaire correct/incorrect par rapport à la réponse de référence validée par des humains ; le score est l'exactitude (pourcentage de bonnes réponses), rapportée séparément pour les sous-ensembles descriptif et de raisonnement.
Vérification: Les 2 323 graphiques, leurs questions et les réponses de référence sont tous constitués à la main et vérifiés par des experts humains ; une réponse n'est acceptée comme correcte que lorsque le juge GPT-4o l'estime conforme à la référence, l'exactitude humaine rapportée (environ 80,5 % en raisonnement) servant de plafond de référence.
Pourquoi c'est important: Lire des graphiques est essentiel pour appliquer les MLLM aux articles scientifiques et aux rapports financiers, mais les benchmarks antérieurs utilisaient des graphiques simples et gabarités qui surestimaient les progrès ; les graphiques naturels et variés d'arXiv dans CharXiv révèlent un grand écart entre les meilleurs modèles et les humains, en faisant un test exigeant et réaliste du raisonnement visuel.

Exemple résolu

Tâche

[Item illustratif de raisonnement] Un diagramme à barres groupées intitulé « Validation Accuracy by Model Size ». Axe X : taille du modèle (7B, 13B, 70B) ; axe Y : exactitude (%). Chaque groupe a deux barres, Dataset A et Dataset B : 7B → A=61, B=58 ; 13B → A=68, B=62 ; 70B → A=79, B=71. Question (donnez une réponse courte) : pour quelle taille de modèle l'écart d'exactitude entre Dataset A et Dataset B est-il le plus grand ?

Solution

Écart par groupe A − B : 7B → 61 − 58 = 3 ; 13B → 68 − 62 = 6 ; 70B → 79 − 71 = 8. Plus grand = 8 → réponse : 70B.

Explication

C'est une question de raisonnement car il faut lire les six hauteurs de barres et comparer leurs différences, et non simplement extraire une valeur ; le juge GPT-4o rapproche la réponse courte de la référence « 70B » et la note de façon binaire, contribuant à la métrique d'exactitude de raisonnement.

Aucun score vérifié pour ce benchmark à ce jour.