Бенчмарк · general
MMLU-Pro
MMLU-Pro — более сложный, ориентированный на рассуждения преемник MMLU, который проверяет знания модели и умение решать задачи по многим академическим дисциплинам с помощью вопросов с выбором ответа, где к каждому предлагается 10 вариантов. Результат измеряется в процентах точности — это доля вопросов, на которые дан верный ответ.
Подробнее
- Пример
- Типичное задание — вопрос с выбором ответа из такой области, как математика, физика, право или инженерия, требующий нескольких шагов рассуждения, где модель должна выбрать единственный правильный ответ из 10 вариантов (против 4 в исходном MMLU).
- Метрика
- Метрика — точность (accuracy): процент вопросов, в которых модель выбрала правильный вариант, вычисляется как число верных ответов, делённое на общее число вопросов.
- Приёмка
- Каждый ответ проверяется автоматически — выбранный моделью вариант точно сопоставляется с известной правильной меткой (exact match), поэтому участие человека не требуется.
- Почему важно
- Поскольку ведущие модели почти исчерпали исходный MMLU, более трудные вопросы и 10 вариантов в MMLU-Pro делают тест более различающим и более чувствительным к настоящему рассуждению, давая более чистый сигнал прогресса.
Разбор примера
Задача
MMLU-Pro (физика, 10 вариантов). Снаряд запущен с уровня земли со скоростью 20 m/s под углом 30° к горизонту (g = 10 m/s², без сопротивления воздуха). Какова его максимальная высота? A) 2.5 m B) 5.0 m C) 7.5 m D) 10.0 m E) 12.5 m F) 15.0 m G) 17.3 m H) 20.0 m I) 3.5 m J) 8.7 m
Решение
v_y = v·sin30° = 20 × 0.5 = 10 m/s; h_max = v_y² / (2g) = 10² / (2 × 10) = 5.0 m → B
Разбор
В верхней точке вертикальная скорость равна нулю, поэтому h_max = v_y²/(2g), где v_y = v·sin30°; высоту задаёт только вертикальная составляющая. MMLU-Pro оценивает по точному совпадению выбранной буквы с эталонным ключом (accuracy по 10 вариантам).