Benchmark · math
FrontierMath
FrontierMath est un benchmark d'Epoch AI qui mesure la capacité d'un modèle d'IA à résoudre des problèmes mathématiques extrêmement difficiles et inédits, de niveau recherche. Le score correspond au pourcentage de problèmes résolus correctement, et les modèles actuels n'en résolvent qu'une petite fraction, loin de la saturation.
En savoir plus
- Exemple
- Un unique problème inédit issu d'un domaine avancé comme la théorie des nombres, la géométrie algébrique ou la combinatoire, dont la résolution exige une expertise poussée et aboutit à une seule réponse finale précise (par exemple un entier déterminé ou un objet mathématique exact).
- Notation
- La métrique est l'exactitude (accuracy) : la proportion de problèmes dont la réponse finale correspond exactement à la réponse de référence, exprimée en pourcentage.
- Vérification
- Chaque problème possède une réponse unique, définie et vérifiable automatiquement, si bien qu'une solution n'est acceptée que si elle correspond exactement à la référence ; les problèmes sont conçus par des mathématiciens experts pour qu'on ne puisse presque jamais tomber juste par hasard.
- Pourquoi c'est important
- Comme les problèmes sont inédits, il résiste à la mémorisation, et il reste loin d'être résolu : c'est l'un des rares benchmarks de mathématiques qui distingue encore nettement un véritable raisonnement mathématique avancé d'une simple reconnaissance de motifs.
Exemple résolu
Tâche
Déterminez le nombre d'entiers $n$ avec $0 \le n < 3^{13}$ pour lesquels le coefficient binomial central $\binom{2n}{n}$ n'est pas divisible par $3$.
Solution
D'après le théorème de Kummer, $3 \nmid \binom{2n}{n}$ précisément lorsque l'addition $n+n$ en base 3 ne produit aucune retenue, c'est-à-dire que chaque chiffre de $n$ en base 3 vaut 0 ou 1. Sur $0 \le n < 3^{13}$, cela donne 2 choix pour chacun des 13 chiffres, donc le compte est $2^{13} = 8192$.
Explication
Le théorème de Kummer donne $v_3\binom{2n}{n}$ comme le nombre de retenues lors de l'addition de $n$ avec lui-même en base 3 ; zéro retenue impose que chaque chiffre en base 3 soit 0 ou 1, soit 2 choix par chiffre sur 13 chiffres. Notation : un vérificateur automatique compare exactement l'unique entier final (8192).