Benchmark · math
GSM8K
GSM8K (Grade School Math 8K) est un benchmark de problèmes de maths de niveau primaire posés sous forme d'énoncés, chacun demandant plusieurs étapes de raisonnement arithmétique ; le modèle est noté sur le pourcentage de problèmes dont la réponse numérique finale est correcte.
En savoir plus
- Exemple
- Un court énoncé comme « Natalia a vendu des barrettes à 48 amies en avril et la moitié en mai ; combien de barrettes a-t-elle vendues au total ? » : le modèle doit dérouler les étapes et donner le nombre final.
- Notation
- Le score est l'accuracy (exactitude) : la proportion de problèmes dont la réponse numérique finale correspond exactement à la réponse de référence ; le raisonnement intermédiaire n'est pas noté, seul le nombre final compte.
- Vérification
- La vérification est automatique et par correspondance exacte : le nombre final du modèle est extrait (généralement après un séparateur comme « #### ») puis comparé à la bonne réponse, sans jugement humain.
- Pourquoi c'est important
- Il est devenu un test standard et facile à vérifier du raisonnement en plusieurs étapes, et la célèbre technique de prompting chain-of-thought s'est révélée en améliorer nettement les résultats, ce qui en a fait une mesure courante de la capacité de raisonnement.
Exemple résolu
Tâche
Maria a 3 boîtes de crayons de cire avec 24 crayons dans chaque boîte. Elle donne 15 crayons à son frère, puis achète 2 boîtes pleines de plus. Combien de crayons a-t-elle maintenant ?
Solution
3 × 24 = 72; 72 − 15 = 57; 2 × 24 = 48; 57 + 48 = 105 → 105
Explication
On multiplie pour obtenir le total de départ, on soustrait ce qu'elle donne et on ajoute les boîtes achetées : 72 − 15 + 48 = 105. GSM8K ne note que le nombre final extrait après le délimiteur '####' par correspondance exacte, donc les étapes du raisonnement ne sont pas notées — seul 105 compte.