Benchmark · general
MMLU
MMLU (Massive Multitask Language Understanding) évalue l'étendue des connaissances d'un modèle dans 57 matières — de l'histoire et du droit aux mathématiques et à la médecine — au moyen de questions à choix multiple. Le résultat s'exprime en % de précision (accuracy) : la part de questions auxquelles le modèle répond correctement.
En savoir plus
- Exemple
- Un item typique présente une question et quatre réponses étiquetées (A–D), et le modèle doit choisir la bonne — par exemple une question de médecine de niveau universitaire ou un problème de mathématiques élémentaires.
- Notation
- La métrique est la précision (accuracy) : le pourcentage de questions à choix multiple pour lesquelles le modèle choisit la bonne option, moyenné sur l'ensemble des 57 matières.
- Vérification
- La notation est automatique et objective — la lettre choisie par le modèle est comparée par correspondance exacte (exact-match) à la bonne réponse connue, sans intervention humaine.
- Pourquoi c'est important
- MMLU est devenu un étalon standard de l'étendue des connaissances et du raisonnement, mais les meilleurs modèles y obtiennent des scores si élevés qu'il est largement saturé et distingue moins bien les systèmes de pointe.
Exemple résolu
Tâche
Voici une question à choix multiple portant sur la chimie du lycée. Lequel des composés suivants est un acide fort ? A) HF B) HCl C) CH3COOH D) H2CO3
Solution
HCl s'ionise totalement dans l'eau, c'est donc un acide fort ; HF, CH3COOH et H2CO3 ne s'ionisent que partiellement (acides faibles). Réponse finale : B) HCl.
Explication
Un acide fort se dissocie entièrement en H+ et sa base conjuguée en solution aqueuse, ce que fait HCl mais pas les autres. MMLU l'évalue par exactitude de correspondance exacte : la lettre de l'option choisie doit être égale à l'étiquette correcte (B).