Benchmark · math

FrontierMath

0 résultats 0 modèles

FrontierMath est un benchmark d'Epoch AI qui mesure la capacité d'un modèle d'IA à résoudre des problèmes mathématiques extrêmement difficiles et inédits, de niveau recherche. Le score correspond au pourcentage de problèmes résolus correctement, et les modèles actuels n'en résolvent qu'une petite fraction, loin de la saturation.

Exemple: Un unique problème inédit issu d'un domaine avancé comme la théorie des nombres, la géométrie algébrique ou la combinatoire, dont la résolution exige une expertise poussée et aboutit à une seule réponse finale précise (par exemple un entier déterminé ou un objet mathématique exact).
Notation: La métrique est l'exactitude (accuracy) : la proportion de problèmes dont la réponse finale correspond exactement à la réponse de référence, exprimée en pourcentage.
Vérification: Chaque problème possède une réponse unique, définie et vérifiable automatiquement, si bien qu'une solution n'est acceptée que si elle correspond exactement à la référence ; les problèmes sont conçus par des mathématiciens experts pour qu'on ne puisse presque jamais tomber juste par hasard.
Pourquoi c'est important: Comme les problèmes sont inédits, il résiste à la mémorisation, et il reste loin d'être résolu : c'est l'un des rares benchmarks de mathématiques qui distingue encore nettement un véritable raisonnement mathématique avancé d'une simple reconnaissance de motifs.

Exemple résolu

Les items de FrontierMath sont des problèmes mathématiques autonomes de niveau recherche dont la réponse est une unique valeur exacte qu'un vérificateur automatique (souvent SymPy) peut contrôler, et qui est assez grande ou spécifique pour être quasiment impossible à deviner. Un item représentatif de ce style : « Pour chaque nombre premier p, soit ord_p(2) l'ordre multiplicatif de 2 modulo p — le plus petit entier positif k tel que 2^k ≡ 1 (mod p). Calculez Σ ord_p(2) sur tous les nombres premiers p avec 100 < p < 200 et donnez l'entier exact. » Réponse : 2140. Raisonnement : il y a 21 tels nombres premiers, et pour chacun ord_p(2) doit diviser p−1 (petit théorème de Fermat), on teste donc les diviseurs de p−1 par ordre croissant pour trouver le plus petit k avec 2^k ≡ 1 — par exemple, modulo 127 on obtient 2^7 = 128 ≡ 1, donc ord = 7, tandis que modulo 101 le nombre 2 est une racine primitive, donc ord = 100. La somme des 21 ordres donne 2140, que le correcteur vérifie par correspondance exacte d'entiers. (Les vrais problèmes de FrontierMath sont bien plus difficiles et prennent souvent des heures à un mathématicien expert, mais le format — un unique nombre précis et vérifiable par machine — est exactement celui-ci.)

Aucun score vérifié pour ce benchmark à ce jour.