Бенчмарк · general
MMLU
MMLU (Massive Multitask Language Understanding) проверяет широту знаний модели по 57 предметам — от истории и права до математики и медицины — с помощью вопросов с выбором ответа. Результат выражается в % точности: доле вопросов, на которые дан правильный ответ.
Подробнее
- Пример
- Типичное задание содержит вопрос и четыре помеченных варианта ответа (A–D), из которых модель должна выбрать правильный — например, вопрос по медицине уровня вуза или простая задача по математике.
- Метрика
- Метрика — точность (accuracy): процент вопросов с выбором ответа, для которых модель выбрала правильный вариант, усреднённый по всем 57 предметам.
- Приёмка
- Проверка автоматическая и объективная — выбранная моделью буква точно сверяется с известным правильным ответом, поэтому участие человека не требуется.
- Почему важно
- MMLU стал стандартным мерилом широты знаний и рассуждений, но лучшие модели набирают на нём столь высокие баллы, что он в значительной степени насыщен и хуже различает сильнейшие системы.
Разбор примера
Задача
Ниже приведён вопрос с выбором ответа по химии уровня старшей школы. Какое из перечисленных веществ является сильной кислотой? A) HF B) HCl C) CH3COOH D) H2CO3
Решение
HCl полностью ионизируется в воде, поэтому это сильная кислота; HF, CH3COOH и H2CO3 ионизируются лишь частично (слабые кислоты). Итоговый ответ: B) HCl.
Разбор
Сильная кислота в водном растворе полностью диссоциирует на H+ и сопряжённое основание, что делает HCl, а остальные — нет. MMLU оценивает ответ по точному совпадению: выбранная буква варианта должна совпасть с эталонной меткой (B).