Бенчмарк · math
AIME 2024
AIME 2024 оценивает продвинутое математическое мышление модели на 15 задачах American Invitational Mathematics Examination 2024 года и показывает процент правильно решённых.
Подробнее
- Пример
- Типичное задание — сложная задача школьной олимпиады, например по теории чисел или комбинаторике, ответом на которую служит одно целое число (в AIME ответ всегда целый, обычно от 0 до 999).
- Метрика
- Метрика — точность: доля из 15 задач, решённых верно, поэтому каждая решённая задача даёт 1/15 итогового результата.
- Приёмка
- Результат принимается по точному совпадению: итоговое целое число модели должно совпасть с официальным ответом; проверка автоматическая, без частичных баллов и без участия человека.
- Почему важно
- Это компактный набор сложных и свежих олимпиадных задач, требующих многошагового рассуждения, поэтому его широко используют для сравнения передовых моделей, а новизна задач снижает риск утечки в обучающие данные.
Разбор примера
Задача
Сколько положительных целых чисел n ≤ 600 делятся на 4 или на 6, но не делятся на 5? (Ответы AIME — целые числа от 0 до 999.)
Решение
Multiples of 4 or 6 that are ≤ 600: 150 + 100 − 50 = 200. Of these, the ones also divisible by 5 (multiples of 20 or 30, minus 60): 30 + 20 − 10 = 40. Answer: 200 − 40 = 160.
Разбор
По формуле включений-исключений на 4 или 6 делятся 200 чисел, из них 40 делятся ещё и на 5, остаётся 160. AIME автоматически проверяет только итоговое целое число (0–999), без частичных баллов за решение.