Benchmark · math
MATH-500
MATH-500 es un subconjunto de 500 problemas del conjunto de datos de matemáticas de competición MATH, que evalúa la capacidad de un modelo para resolver problemas matemáticos difíciles. La puntuación es el porcentaje de problemas cuya respuesta final acierta el modelo.
Leer más
- Ejemplo
- Un elemento típico es un problema matemático de tipo competición; por ejemplo, una pregunta de álgebra, geometría o teoría de números que pide una única respuesta final (un número o una expresión en forma cerrada) tras varios pasos de razonamiento.
- Puntuación
- La puntuación es la proporción de los 500 problemas que el modelo responde correctamente, es decir, accuracy = respuestas finales correctas / 500, expresada como porcentaje.
- Verificación
- Un problema se cuenta como resuelto cuando la respuesta final del modelo coincide exactamente con la respuesta de referencia (una comprobación automática de equivalencia de la respuesta final, no de los pasos intermedios).
- Por qué importa
- Es una medida compacta y muy usada del razonamiento matemático que se ejecuta más rápido que el conjunto MATH completo, por lo que es una comprobación rápida habitual al comparar modelos de razonamiento.
Ejemplo resuelto
Tarea
Para ciertos valores de $k$, la ecuación cuadrática $x^2 - kx + 16 = 0$ tiene solo raíces enteras positivas. Halla la suma de todos los valores distintos posibles de $k$.
Solución
Roots $r,s$: $rs=16$, $k=r+s$. Pairs $(1,16),(2,8),(4,4)\Rightarrow k\in\{17,10,8\}$. Distinct sum $=17+10+8=\boxed{35}$.
Explicación
Las raíces $r,s$ son enteros positivos con $rs=16$ y $k=r+s$; los pares de factores $(1,16),(2,8),(4,4)$ dan $k=17,10,8$, así que la suma de los valores distintos es $35$. MATH-500 califica por coincidencia exacta de la respuesta final normalizada en \boxed{}, por lo que solo cuenta $35$.