Бенчмарк · multimodal

MathVista

0 результатов 0 моделей

MathVista — это мультимодальный бенчмарк, оценивающий математические рассуждения по визуальным данным: рисункам, диаграммам, геометрическим чертежам и научным графикам. Результат выражается как accuracy (точность) — доля верно отвеченных вопросов.

Подробнее

Пример: Типовое задание сочетает изображение — геометрический чертёж, график функции, столбчатую диаграмму или таблицу — с вопросом, который решается только через считывание мелких визуальных деталей и последующие математические рассуждения, например вычисление длины по подписанному чертежу или считывание значения с диаграммы. Задания бывают с выбором ответа или со свободным ответом (целое число, дробь или список).
Метрика: Метрика — accuracy (точность). Поскольку ответы свободные или с выбором варианта, LLM сначала извлекает короткий итоговый ответ из полного ответа модели; он нормализуется и сравнивается с эталоном по точному совпадению. Точность — доля верных заданий, также приводимая с разбивкой по типам задач и видам рассуждений.
Приёмка: Оценка использует две подвыборки: набор testmini из 1000 заданий с открытыми ответами для локальной проверки и больший набор test примерно из 5141 задания, ответы к которому скрыты и оцениваются только при отправке предсказаний на официальный лидерборд. Результат засчитывается верным, если конвейер извлечения ответа и точного совпадения его принимает.
Почему важно: Текстовые математические бенчмарки и обычные бенчмарки визуальных вопросов-ответов по отдельности упускают то, на что нацелен MathVista: математику, невозможную без настоящего визуального понимания. Он выявил большой разрыв между моделями и людьми и стал стандартным мерилом визуальных математических рассуждений мультимодальных базовых моделей.

Разбор примера

Задача

Изображение: прямоугольный треугольник с двумя катетами, подписанными 6 и 8. Вопрос: «Чему равна длина гипотенузы на рисунке?» Тип ответа: свободное целое число.

Решение

По теореме Пифагора гипотенуза c = √(6² + 8²) = √(36 + 64) = √100 = 10. Итоговый ответ: 10.

Разбор

Для решения нужно считать подписанные длины сторон с чертежа (визуальное понимание), а затем применить теорему Пифагора (математическое рассуждение). Оценивание: LLM извлекает краткий ответ «10» из отклика модели, и он сопоставляется с эталоном по нормализованному точному совпадению.

По этому бенчмарку пока нет проверенных результатов.