Benchmark · reasoning
Humanity's Last Exam
Humanity's Last Exam (HLE) est un benchmark de questions expertes de pointe couvrant de nombreux domaines (mathématiques, sciences, sciences humaines et autres), conçu délibérément pour être extrêmement difficile pour l'IA. Il rapporte la performance en pourcentage de bonnes réponses (accuracy).
En savoir plus
- Exemple
- Chaque item est une question experte à réponse fermée n'ayant qu'une seule bonne réponse ; par exemple un problème avancé de mathématiques ou une question scientifique de niveau doctorat (certaines accompagnées d'une image), posée sous forme de choix multiple ou de réponse courte exacte.
- Notation
- La métrique est l'exactitude (accuracy) : le pourcentage de questions auxquelles le modèle répond correctement. Certaines versions rapportent aussi une mesure de calibration (confiance) en plus de l'exactitude.
- Vérification
- Chaque question a une réponse correcte connue, et la réponse du modèle est notée automatiquement par rapport à cette référence (la bonne option en choix multiple, une réponse courte correspondante) : une notation automatique et objective, non fondée sur un vote humain.
- Pourquoi c'est important
- Les benchmarks habituels sont saturés (les meilleurs modèles frôlent le plafond), aussi HLE vise à être un test difficile et discriminant à la frontière du savoir expert humain — un indicateur pertinent de la distance qui sépare l'IA d'un raisonnement de niveau expert.
Exemple résolu
Tâche
Les colibris (ordre des Apodiformes) possèdent de façon unique un os sésamoïde (sesamoid) ovale et bilatéralement pairé, enchâssé dans la partie caudolatérale de l'aponévrose (aponeurosis) cruciforme élargie d'insertion du m. depressor caudae. Combien de tendons pairés cet os sésamoïde soutient-il ? Répondez par un seul nombre entier.
Solution
4
Explication
L'os sésamoïde ovale se forme au sein de l'aponévrose cruciforme du muscle abaisseur de la queue et soutient quatre tendons pairés de cette insertion — une ossification spécialisée propre à l'anatomie caudale des colibris. HLE note la réponse par correspondance exacte du nombre entier soumis avec la réponse de référence (4) et sollicite séparément une confiance pour la calibration.