Бенчмарк · math
AIME 2025
AIME 2025 проверяет продвинутое математическое рассуждение модели на 15 задачах American Invitational Mathematics Examination 2025 года — сложной школьной олимпиады. Ответом на каждую задачу служит целое число от 0 до 999, а оценка модели — это процент правильно решённых задач (обычно приводится как pass@1 или avg@k).
Подробнее
- Пример
- Типичный пункт — сложная олимпиадная задача, например по теории чисел или комбинаторике, ответом на которую служит одно целое число от 0 до 999, скажем, найти количество упорядоченных пар, удовлетворяющих заданному набору алгебраических условий.
- Метрика
- Каждая из 15 задач оценивается по точному совпадению целочисленного ответа, а итог — это доля (процент) верно решённых; поскольку ответы меняются от запуска к запуску, результат обычно усредняют по многим прогонам (avg@k) или приводят как pass@1.
- Приёмка
- Проверка автоматическая и объективная: итоговое целое число модели сравнивается с официальным ключом ответов без частичных баллов и без участия человека, поэтому решение засчитывается только при точном числовом совпадении.
- Почему важно
- Задачи AIME требуют многошагового творческого рассуждения, а не запоминания, поэтому этот бенчмарк — широко отслеживаемый показатель математических способностей передовых LLM и частая заметная цифра при выходе новых моделей рассуждения.
Разбор примера
Задача
Типичная задача в стиле AIME (ответ — целое число от 0 до 999): найдите сумму всех натуральных чисел n, для которых √(n² + 85n + 2017) является целым числом.
Решение
Выделим полный квадрат: (2m)² − (2n+85)² = 843 = 3·281. Разложим разность квадратов: (2m−2n−85)(2m+2n+85) = 843, откуда n = 168 или n = 27. Сумма = 168 + 27 = 195.
Разбор
Выделение полного квадрата сводит условие к разности квадратов (2m)² − (2n+85)² = 843 = 3·281, единственные положительные разложения которой дают n = 168 и n = 27, в сумме 195. AIME оценивается по точному совпадению единственного целого ответа (0–999), без частичных баллов.