Бенчмарк · math
FrontierMath
FrontierMath — это бенчмарк от Epoch AI, который измеряет, насколько хорошо ИИ-модель решает чрезвычайно сложные, оригинальные математические задачи исследовательского уровня. Оценка — это доля правильно решённых задач, и сегодняшние модели решают лишь малую часть, то есть бенчмарк далёк от насыщения.
Подробнее
- Пример
- Отдельная ранее не публиковавшаяся задача из продвинутой области — например, теории чисел, алгебраической геометрии или комбинаторики, — решение которой требует глубоких знаний и сводится к одному однозначному итоговому ответу (например, конкретному целому числу или точному математическому объекту).
- Метрика
- Метрика — точность (accuracy): доля задач, у которых итоговый ответ в точности совпадает с эталонным, выраженная в процентах.
- Приёмка
- У каждой задачи есть один однозначный, автоматически проверяемый ответ, поэтому решение засчитывается только при точном совпадении с эталоном; задачи составлены математиками-экспертами так, что угадать правильный ответ практически невозможно.
- Почему важно
- Задачи новые, поэтому их нельзя запомнить заранее, и бенчмарк по-прежнему далёк от решения — это один из немногих математических тестов, который чётко отделяет настоящее продвинутое математическое рассуждение от подбора по шаблону.
Разбор примера
Задачи FrontierMath — это самодостаточные математические задачи исследовательского уровня, ответ на которые представляет собой одно точное значение, проверяемое автоматически (часто через SymPy), причём достаточно большое или конкретное, чтобы его нельзя было угадать. Показательный пример в этом стиле: «Для каждого простого p обозначим через ord_p(2) мультипликативный порядок числа 2 по модулю p — наименьшее целое положительное k, для которого 2^k ≡ 1 (mod p). Вычислите Σ ord_p(2) по всем простым p с 100 < p < 200 и укажите точное целое число.» Ответ: 2140. Рассуждение: таких простых 21, и для каждого ord_p(2) обязано делить p−1 (малая теорема Ферма), поэтому перебираем делители p−1 по возрастанию в поисках наименьшего k с 2^k ≡ 1 — например, по модулю 127 получаем 2^7 = 128 ≡ 1, значит ord = 7, а по модулю 101 число 2 является первообразным корнем, так что ord = 100. Сложив все 21 порядок, получаем 2140, и проверяющая программа сверяет ответ точным совпадением целых чисел. (Настоящие задачи FrontierMath гораздо сложнее и нередко отнимают у эксперта-математика часы, но формат — одно точное, машинно-проверяемое число — именно такой.)
По этому бенчмарку пока нет проверенных результатов.