Benchmark · math
GSM8K
GSM8K (Grade School Math 8K) es un benchmark de problemas matemáticos de primaria planteados como enunciados, cada uno con varios pasos de razonamiento aritmético; el modelo se puntúa por el porcentaje de problemas en los que su respuesta numérica final es correcta.
Leer más
- Ejemplo
- Un problema breve como «Natalia vendió clips a 48 amigas en abril y la mitad en mayo; ¿cuántos clips vendió en total?»: el modelo debe recorrer los pasos y dar el número final.
- Puntuación
- La puntuación es la accuracy (exactitud): la proporción de problemas cuya respuesta numérica final coincide exactamente con la respuesta de referencia; el razonamiento intermedio no se califica, solo el número final.
- Verificación
- La verificación es automática y por coincidencia exacta: se extrae el número final del modelo (normalmente tras un delimitador como «####») y se compara con la respuesta correcta, sin necesidad de juicio humano.
- Por qué importa
- Se convirtió en una prueba estándar y fácil de comprobar del razonamiento de varios pasos, y se demostró que la conocida técnica de prompting chain-of-thought mejora mucho los resultados, lo que la hizo una vara de medir habitual de la capacidad de razonar.
Ejemplo resuelto
Tarea
María tiene 3 cajas de crayones con 24 crayones en cada caja. Le da 15 crayones a su hermano y luego compra 2 cajas llenas más. ¿Cuántos crayones tiene ahora?
Solución
3 × 24 = 72; 72 − 15 = 57; 2 × 24 = 48; 57 + 48 = 105 → 105
Explicación
Se multiplica para obtener el total inicial, se resta lo que regala y se suman las cajas nuevas: 72 − 15 + 48 = 105. GSM8K califica solo el número final extraído tras el delimitador '####' por coincidencia exacta, así que los pasos del razonamiento no puntúan — solo cuenta 105.