Benchmark · math
AIME 2024
AIME 2024 mide el razonamiento matemático avanzado de un modelo con los 15 problemas del American Invitational Mathematics Examination de 2024 e informa el porcentaje resuelto correctamente.
Leer más
- Ejemplo
- Un ítem típico es un problema difícil de olimpiada escolar —por ejemplo, de teoría de números o combinatoria— cuya respuesta es un único número entero (en AIME la respuesta siempre es un entero, habitualmente de 0 a 999).
- Puntuación
- La métrica es la exactitud: la proporción de los 15 problemas respondidos correctamente, de modo que cada problema resuelto vale 1/15 de la puntuación.
- Verificación
- El resultado se acepta por coincidencia exacta: el número entero final del modelo debe igualar la respuesta oficial, verificado de forma automática, sin puntuación parcial ni juicio humano.
- Por qué importa
- Al ser un conjunto compacto de problemas de competición difíciles y recientes que exigen razonamiento de varios pasos, se usa mucho para comparar modelos de frontera, y su novedad reduce la contaminación de los datos de entrenamiento.
Ejemplo resuelto
Tarea
¿Cuántos enteros positivos n ≤ 600 son divisibles por 4 o por 6 pero no por 5? (Las respuestas de AIME son enteros de 0 a 999.)
Solución
Multiples of 4 or 6 that are ≤ 600: 150 + 100 − 50 = 200. Of these, the ones also divisible by 5 (multiples of 20 or 30, minus 60): 30 + 20 − 10 = 40. Answer: 200 − 40 = 160.
Explicación
Por inclusión-exclusión, 200 enteros son divisibles por 4 o 6, y 40 de ellos también por 5, quedando 160. AIME califica automáticamente solo el entero final (0–999), sin crédito parcial por el desarrollo.