Benchmark · multimodal

MMMU-Pro

0 résultats 0 modèles

MMMU-Pro est une version renforcée en robustesse du benchmark MMMU qui mesure la compréhension et le raisonnement multimodaux (image + texte) de niveau universitaire dans six disciplines ; la métrique est l'exactitude sur des questions à choix multiple.

Exemple: Une question d'une discipline associe une image — un schéma, un graphique, une structure chimique ou une imagerie médicale — à une question de niveau universitaire et jusqu'à 10 options de réponse ; dans le mode vision seule, toute la question et ses options sont intégrées dans une capture d'écran ou une photo, de sorte que le modèle doit lire le texte directement dans l'image.
Notation: Exactitude : l'option choisie par le modèle est comparée par correspondance exacte à la clé de référence, et le score est le pourcentage d'items répondus correctement. Les options candidates passent de 4 à 10 pour limiter les bonnes réponses au hasard, et le score global MMMU-Pro fait la moyenne des modes Standard (10 options) et Vision (entrée par image) (on utilise généralement un raisonnement en chaîne, Chain-of-Thought).
Vérification: Chaque item est un choix multiple à réponse unique, donc la notation est automatique : l'option finale retenue est extraite de la sortie du modèle (souvent avec chaîne de raisonnement) et comparée par correspondance exacte à la réponse de référence. La robustesse est intégrée aux données — les questions auxquelles des modèles à texte seul peuvent répondre sont filtrées et le nombre d'options est porté à 10 — de sorte qu'un score élevé reflète un véritable raisonnement multimodal, et non des raccourcis textuels ou des réponses chanceuses.
Pourquoi c'est important: Le MMMU d'origine gonflait les scores parce que les modèles pouvaient exploiter des raccourcis à texte seul ou deviner parmi quatre options ; MMMU-Pro supprime les deux, si bien que l'exactitude mesurée chute nettement et sépare mieux les modèles qui intègrent réellement vision et texte, ce qui en fait une mesure plus honnête de la capacité multimodale de niveau expert.

Exemple résolu

Tâche

Item représentatif de Science (Physique) au format MMMU-Pro. [Image : un bloc sur un plan incliné sans frottement d'angle θ = 30°.] Question : quelle est la valeur de l'accélération du bloc le long du plan incliné ? Options (10) : (A) 0 m/s² (B) 1.6 m/s² (C) 2.5 m/s² (D) 3.3 m/s² (E) 4.9 m/s² (F) 5.7 m/s² (G) 6.9 m/s² (H) 7.4 m/s² (I) 8.5 m/s² (J) 9.8 m/s². Dans le mode vision seule, tout cet énoncé apparaît intégré dans une capture d'écran.

Solution

a = g·sin θ = 9.8 × sin 30° = 9.8 × 0.5 = 4.9 m/s² → (E)

Explication

Sur un plan incliné sans frottement, la seule force agissant le long de la surface est la composante de la gravité mg·sin θ, donc l'accélération vaut g·sin θ et est indépendante de la masse du bloc ; g·sin 30° = 4.9 m/s², ce qui correspond à l'option (E). La notation compare par correspondance exacte la lettre de l'option extraite à la clé de référence.

Aucun score vérifié pour ce benchmark à ce jour.