Benchmark · multimodal
MMMU
MMMU (Massive Multi-discipline Multimodal Understanding) évalue si un modèle peut répondre à des questions de niveau universitaire qui combinent images et texte dans de nombreuses disciplines. Le résultat est exprimé en pourcentage de bonnes réponses (exactitude).
En savoir plus
- Exemple
- Une question peut présenter un schéma de chimie, un graphique ou une image médicale accompagnés de texte et demander au modèle de raisonner pour choisir la bonne réponse, comme dans un examen universitaire.
- Notation
- Chaque question est notée juste ou fausse, et le score correspond au pourcentage de questions correctement répondues (exactitude).
- Vérification
- Les réponses sont vérifiées automatiquement par correspondance exacte avec la réponse de référence (surtout des QCM, parfois de courtes réponses libres), sans jugement humain.
- Pourquoi c'est important
- Il mesure un raisonnement expert de niveau universitaire sur des images et du texte dans des dizaines de matières, ce qui en fait un test exigeant de véritable compréhension multimodale, et non de simples compétences textuelles.
Exemple résolu
MMMU (Massive Multi-discipline Multimodal Understanding) pose des questions de niveau universitaire qui associent un texte à une image — un schéma, un graphique, une structure chimique ou une image médicale — dans six disciplines, si bien que le modèle doit réellement lire l'image pour répondre. Un item représentatif de Science : la figure jointe montre un circuit où une pile de 12 V est reliée à deux résistances en série, notées R1 = 4 Ω et R2 = 2 Ω. Question : « Quel est le courant fourni par la pile ? », avec les choix (A) 1 A, (B) 2 A, (C) 3 A, (D) 6 A. La bonne réponse est (B) 2 A. Raisonnement : les résistances en série s'additionnent, donc la résistance totale vaut R = 4 Ω + 2 Ω = 6 Ω, et la loi d'Ohm donne I = V / R = 12 V / 6 Ω = 2 A. L'item est « multimodal » car les valeurs des résistances et leur montage en série ne s'obtiennent qu'en lisant le schéma, et non le texte seul.
Aucun score vérifié pour ce benchmark à ce jour.