Benchmark · math
AIME 2025
AIME 2025 évalue le raisonnement mathématique avancé d'un modèle à partir des 15 problèmes de l'American Invitational Mathematics Examination de 2025, un concours difficile de niveau lycée. Chaque réponse est un entier de 0 à 999, et le score du modèle est le pourcentage de problèmes résolus correctement (souvent rapporté sous forme de pass@1 ou avg@k).
En savoir plus
- Exemple
- Un item typique est un problème de concours exigeant — par exemple de théorie des nombres ou de combinatoire — dont la solution est un unique entier entre 0 et 999, comme déterminer le nombre de paires ordonnées vérifiant un ensemble donné de conditions algébriques.
- Notation
- Chacun des 15 problèmes est noté par correspondance exacte de sa réponse entière, et le score est la fraction (pourcentage) résolue correctement ; comme les réponses varient d'une exécution à l'autre, les résultats sont généralement moyennés sur de nombreux échantillons (avg@k) ou rapportés en pass@1.
- Vérification
- La vérification est automatique et objective : l'entier final du modèle est comparé au corrigé officiel, sans note partielle ni jugement humain, de sorte qu'une solution n'est acceptée qu'en cas de correspondance numérique exacte.
- Pourquoi c'est important
- Les problèmes de l'AIME exigent un raisonnement créatif en plusieurs étapes plutôt que de la mémorisation ; ce benchmark est donc une mesure très suivie des capacités mathématiques des LLM de pointe et un chiffre phare fréquent lors de la sortie de nouveaux modèles de raisonnement.
Exemple résolu
Tâche
Problème représentatif de style AIME (la réponse est un entier de 0 à 999) : trouvez la somme de tous les entiers positifs n pour lesquels √(n² + 85n + 2017) est un entier.
Solution
Complétez le carré : (2m)² − (2n+85)² = 843 = 3·281. Factorisez la différence de carrés : (2m−2n−85)(2m+2n+85) = 843, d'où n = 168 ou n = 27. Somme = 168 + 27 = 195.
Explication
Compléter le carré transforme la condition en une différence de carrés (2m)² − (2n+85)² = 843 = 3·281, dont les seules factorisations positives donnent n = 168 et n = 27, de somme 195. L'AIME est noté par correspondance exacte de l'unique réponse entière (0–999), sans point partiel.