Бенчмарк · math
FrontierMath
FrontierMath — это бенчмарк от Epoch AI, который измеряет, насколько хорошо ИИ-модель решает чрезвычайно сложные, оригинальные математические задачи исследовательского уровня. Оценка — это доля правильно решённых задач, и сегодняшние модели решают лишь малую часть, то есть бенчмарк далёк от насыщения.
Подробнее
- Пример
- Отдельная ранее не публиковавшаяся задача из продвинутой области — например, теории чисел, алгебраической геометрии или комбинаторики, — решение которой требует глубоких знаний и сводится к одному однозначному итоговому ответу (например, конкретному целому числу или точному математическому объекту).
- Метрика
- Метрика — точность (accuracy): доля задач, у которых итоговый ответ в точности совпадает с эталонным, выраженная в процентах.
- Приёмка
- У каждой задачи есть один однозначный, автоматически проверяемый ответ, поэтому решение засчитывается только при точном совпадении с эталоном; задачи составлены математиками-экспертами так, что угадать правильный ответ практически невозможно.
- Почему важно
- Задачи новые, поэтому их нельзя запомнить заранее, и бенчмарк по-прежнему далёк от решения — это один из немногих математических тестов, который чётко отделяет настоящее продвинутое математическое рассуждение от подбора по шаблону.
Разбор примера
Задача
Определите число целых $n$ с $0 \le n < 3^{13}$, для которых центральный биномиальный коэффициент $\binom{2n}{n}$ не делится на $3$.
Решение
По теореме Kummer, $3 \nmid \binom{2n}{n}$ ровно тогда, когда при сложении $n+n$ в системе с основанием 3 нет переносов, то есть каждая цифра числа $n$ в основании 3 равна 0 или 1. На $0 \le n < 3^{13}$ это даёт по 2 варианта для каждой из 13 цифр, поэтому количество равно $2^{13} = 8192$.
Разбор
Теорема Kummer даёт $v_3\binom{2n}{n}$ как число переносов при сложении $n$ с самим собой в основании 3; отсутствие переносов требует, чтобы каждая цифра в основании 3 была 0 или 1, то есть 2 варианта на цифру для 13 цифр. Оценивание: автоматический проверщик точно сверяет единственное итоговое целое число (8192).