Бенчмарк · multimodal
MMMU-Pro
MMMU-Pro — усиленная по устойчивости версия бенчмарка MMMU, которая измеряет мультимодальное (изображение + текст) понимание и рассуждение уровня вуза по шести дисциплинам; метрика — точность выбора варианта ответа.
Подробнее
- Пример
- Задача по дисциплине сочетает изображение — схему, график, химическую структуру или медицинский снимок — с вопросом уровня вуза и до 10 вариантами ответа; в режиме «только зрение» весь вопрос и его варианты встроены в скриншот или фотографию, поэтому модель должна сама прочитать текст с изображения.
- Метрика
- Точность: выбранный моделью вариант точно сопоставляется с эталонным ключом, а оценка — это доля правильно решённых заданий. Число вариантов расширено с 4 до 10, чтобы затруднить случайное угадывание; общий балл MMMU-Pro усредняет режимы Standard (10 вариантов) и Vision (ввод изображением) (обычно применяется рассуждение по цепочке, Chain-of-Thought).
- Приёмка
- Каждое задание — вопрос с единственным правильным вариантом, поэтому оценивание автоматическое: итоговый выбранный вариант извлекается из вывода модели (часто с цепочкой рассуждений) и точно сопоставляется с эталонным ответом. Устойчивость заложена в данных — вопросы, на которые отвечают модели только по тексту, отфильтрованы, а число вариантов повышено до 10 — поэтому высокий балл отражает подлинное мультимодальное рассуждение, а не текстовые лазейки или удачные догадки.
- Почему важно
- Исходный MMMU завышал оценки, потому что модели могли использовать текстовые лазейки или угадывать из четырёх вариантов; MMMU-Pro убирает и то и другое, поэтому измеренная точность резко падает и лучше разделяет модели, которые действительно объединяют зрение и текст, — это более честная мера мультимодальных способностей экспертного уровня.
Разбор примера
Задача
Показательное задание по науке (физике) в формате MMMU-Pro. [Изображение: брусок на гладкой (без трения) наклонной плоскости с углом θ = 30°.] Вопрос: чему равен модуль ускорения бруска вдоль наклонной плоскости? Варианты (10): (A) 0 m/s² (B) 1.6 m/s² (C) 2.5 m/s² (D) 3.3 m/s² (E) 4.9 m/s² (F) 5.7 m/s² (G) 6.9 m/s² (H) 7.4 m/s² (I) 8.5 m/s² (J) 9.8 m/s². В режиме «только зрение» весь этот текст встроен в скриншот.
Решение
a = g·sin θ = 9.8 × sin 30° = 9.8 × 0.5 = 4.9 m/s² → (E)
Разбор
На наклонной плоскости без трения единственная сила вдоль поверхности — составляющая силы тяжести mg·sin θ, поэтому ускорение равно g·sin θ и не зависит от массы бруска; g·sin 30° = 4.9 m/s², что соответствует варианту (E). Оценивание сравнивает извлечённую букву варианта с эталонным ключом на точное совпадение.