Benchmark · math
AIME 2025
AIME 2025 evalúa el razonamiento matemático avanzado de un modelo con los 15 problemas del American Invitational Mathematics Examination de 2025, una difícil competición de secundaria. Cada respuesta es un número entero de 0 a 999, y la puntuación del modelo es el porcentaje de problemas resueltos correctamente (a menudo reportado como pass@1 o avg@k).
Leer más
- Ejemplo
- Un ítem típico es un problema de competición exigente —por ejemplo, de teoría de números o combinatoria— cuya solución es un único entero entre 0 y 999, como hallar el número de pares ordenados que cumplen un conjunto dado de condiciones algebraicas.
- Puntuación
- Cada uno de los 15 problemas se califica por coincidencia exacta de su respuesta entera, y la puntuación es la fracción (porcentaje) resuelta correctamente; como las respuestas varían entre ejecuciones, los resultados suelen promediarse sobre muchas muestras (avg@k) o reportarse como pass@1.
- Verificación
- La verificación es automática y objetiva: el entero final del modelo se compara con la clave de respuestas oficial, sin crédito parcial ni juicio humano, de modo que una solución solo se acepta con una coincidencia numérica exacta.
- Por qué importa
- Los problemas de AIME exigen razonamiento creativo de varios pasos en lugar de memorización, por lo que este benchmark es una medida muy seguida de la capacidad matemática de los LLM de frontera y una cifra destacada habitual cuando se lanzan nuevos modelos de razonamiento.
Ejemplo resuelto
Tarea
Problema representativo al estilo AIME (la respuesta es un entero de 0 a 999): halla la suma de todos los enteros positivos n para los que √(n² + 85n + 2017) es un entero.
Solución
Completa el cuadrado: (2m)² − (2n+85)² = 843 = 3·281. Factoriza la diferencia de cuadrados: (2m−2n−85)(2m+2n+85) = 843, lo que da n = 168 o n = 27. Suma = 168 + 27 = 195.
Explicación
Completar el cuadrado convierte la condición en una diferencia de cuadrados (2m)² − (2n+85)² = 843 = 3·281, cuyas únicas factorizaciones positivas dan n = 168 y n = 27, sumando 195. AIME se califica por coincidencia exacta de la única respuesta entera (0–999), sin crédito parcial.