Бенчмарк · multimodal
MMMU
MMMU (Massive Multi-discipline Multimodal Understanding) проверяет, способна ли модель отвечать на вопросы университетского уровня, которые объединяют изображения и текст из множества научных дисциплин. Результат выражается в проценте правильных ответов (точность).
Подробнее
- Пример
- В вопросе могут дать химическую схему, график или медицинское изображение вместе с текстом и попросить модель порассуждать и выбрать правильный ответ — как в экзаменационном задании вуза.
- Метрика
- Каждый вопрос оценивается как верный или неверный, а итоговый балл — это процент вопросов, на которые дан правильный ответ (точность).
- Приёмка
- Ответы проверяются автоматически точным совпадением с эталонным ответом (в основном варианты выбора, иногда короткие открытые ответы), поэтому участие человека не требуется.
- Почему важно
- Он измеряет экспертное мышление университетского уровня на стыке изображений и текста в десятках предметов, что делает его строгой проверкой настоящего мультимодального понимания, а не только работы с текстом.
Разбор примера
MMMU (Massive Multi-discipline Multimodal Understanding) — это вопросы университетского уровня, в которых текст сопровождается изображением (схемой, графиком, химической структурой или медицинским снимком) по шести дисциплинам, так что модель должна действительно «прочитать» картинку, чтобы ответить. Типичный пример из раздела Science: на прилагаемом рисунке показана цепь с батареей 12 V, подключённой к двум последовательно соединённым резисторам R1 = 4 Ω и R2 = 2 Ω. Вопрос: «Какой ток даёт батарея?», варианты (A) 1 A, (B) 2 A, (C) 3 A, (D) 6 A. Правильный ответ — (B) 2 A. Рассуждение: при последовательном соединении сопротивления складываются, поэтому общее сопротивление R = 4 Ω + 2 Ω = 6 Ω, а по закону Ohm ток I = V / R = 12 V / 6 Ω = 2 A. Задание «мультимодально», потому что значения резисторов и их последовательное соединение можно узнать только по схеме, а не из одного текста.
По этому бенчмарку пока нет проверенных результатов.