Бенчмарк · math
MATH-500
MATH-500 — это подмножество из 500 задач датасета соревновательной математики MATH, которое проверяет способность модели решать сложные математические задачи. Оценка — это процент задач, в которых модель дала верный итоговый ответ.
Подробнее
- Пример
- Типичное задание — математическая задача олимпиадного уровня: например, вопрос по алгебре, геометрии или теории чисел, требующий единственного итогового ответа (числа или выражения в замкнутой форме) после нескольких шагов рассуждений.
- Метрика
- Оценка — это доля из 500 задач, решённых верно, то есть accuracy = число верных итоговых ответов / 500, выраженная в процентах.
- Приёмка
- Задача считается решённой, когда итоговый ответ модели точно совпадает с эталонным ответом (автоматическая проверка эквивалентности итогового ответа, а не промежуточных шагов).
- Почему важно
- Это компактный и широко используемый показатель математического мышления, который прогоняется быстрее полного набора MATH, поэтому его часто применяют для быстрой проверки при сравнении моделей рассуждения.
Разбор примера
Задача
При некоторых значениях $k$ квадратное уравнение $x^2 - kx + 16 = 0$ имеет только целые положительные корни. Найдите сумму всех различных возможных значений $k$.
Решение
Roots $r,s$: $rs=16$, $k=r+s$. Pairs $(1,16),(2,8),(4,4)\Rightarrow k\in\{17,10,8\}$. Distinct sum $=17+10+8=\boxed{35}$.
Разбор
Корни $r,s$ — целые положительные числа с $rs=16$ и $k=r+s$; пары множителей $(1,16),(2,8),(4,4)$ дают $k=17,10,8$, поэтому сумма различных значений равна $35$. MATH-500 оценивает по точному совпадению нормализованного финального ответа в \boxed{}, так что засчитывается только $35$.