Benchmark · math
MATH-500
MATH-500 est un sous-ensemble de 500 problèmes du jeu de données de mathématiques de compétition MATH, qui évalue la capacité d'un modèle à résoudre des problèmes mathématiques difficiles. Le score est le pourcentage de problèmes dont le modèle trouve la bonne réponse finale.
En savoir plus
- Exemple
- Un élément typique est un problème mathématique de type compétition — par exemple une question d'algèbre, de géométrie ou de théorie des nombres qui demande une seule réponse finale (un nombre ou une expression en forme close) après plusieurs étapes de raisonnement.
- Notation
- Le score est la proportion des 500 problèmes que le modèle résout correctement, c'est-à-dire accuracy = réponses finales correctes / 500, exprimée en pourcentage.
- Vérification
- Un problème est considéré comme résolu lorsque la réponse finale du modèle correspond exactement à la réponse de référence (une vérification automatique d'équivalence de la réponse finale, et non des étapes intermédiaires).
- Pourquoi c'est important
- C'est une mesure compacte et très utilisée du raisonnement mathématique qui s'exécute plus vite que le jeu MATH complet, ce qui en fait une vérification rapide courante pour comparer les modèles de raisonnement.
Exemple résolu
Tâche
Pour certaines valeurs de $k$, l'équation du second degré $x^2 - kx + 16 = 0$ n'a que des racines entières positives. Trouvez la somme de toutes les valeurs distinctes possibles de $k$.
Solution
Roots $r,s$: $rs=16$, $k=r+s$. Pairs $(1,16),(2,8),(4,4)\Rightarrow k\in\{17,10,8\}$. Distinct sum $=17+10+8=\boxed{35}$.
Explication
Les racines $r,s$ sont des entiers positifs avec $rs=16$ et $k=r+s$ ; les paires de facteurs $(1,16),(2,8),(4,4)$ donnent $k=17,10,8$, donc la somme des valeurs distinctes est $35$. MATH-500 note par correspondance exacte de la réponse finale normalisée dans \boxed{}, donc seul $35$ compte.