Бенчмарк · multimodal

CharXiv

0 результатов 0 моделей

CharXiv — это бенчмарк, проверяющий, насколько хорошо мультимодальные LLM понимают настоящие научные графики, взятые из статей arXiv; точность отдельно указывается для описательных вопросов (чтение базовых элементов графика) и вопросов на рассуждение (сравнение и анализ значений).

Подробнее

Пример: По изображению графика описательное задание может просить прочитать заголовок, посчитать записи в легенде или назвать подпись деления, а задание на рассуждение — сравнить два построенных ряда и сказать, какой больше в заданной точке; всё это решается только по визуальному содержимому графика.
Метрика: На каждый вопрос даётся короткий свободный ответ. GPT-4o выступает автоматическим судьёй: извлекает ответ модели и ставит бинарную оценку «верно/неверно» относительно проверенного человеком эталона; итог — точность (доля верных), отдельно для описательного и рассуждающего наборов.
Приёмка: Все 2 323 графика, их вопросы и эталонные ответы вручную составлены и проверены экспертами-людьми; ответ засчитывается как верный, только если судья GPT-4o признаёт его совпадающим с эталоном, а заявленная точность людей (около 80,5% на рассуждении) служит ориентиром-потолком.
Почему важно: Чтение графиков ключево при применении MLLM к научным статьям и финансовым отчётам, но прежние бенчмарки использовали простые шаблонные графики, завышавшие прогресс; естественные и разнообразные графики arXiv в CharXiv обнажают большой разрыв между лучшими моделями и людьми, делая его строгим и реалистичным тестом визуального рассуждения.

Разбор примера

Задача

[Иллюстративный пример на рассуждение] Сгруппированная столбчатая диаграмма с заголовком «Validation Accuracy by Model Size». Ось X: размер модели (7B, 13B, 70B); ось Y: точность (%). В каждой группе два столбца, Dataset A и Dataset B: 7B → A=61, B=58; 13B → A=68, B=62; 70B → A=79, B=71. Вопрос (дайте короткий ответ): для какого размера модели разрыв в точности между Dataset A и Dataset B наибольший?

Решение

Разрыв по группам A − B: 7B → 61 − 58 = 3; 13B → 68 − 62 = 6; 70B → 79 − 71 = 8. Наибольший = 8 → ответ: 70B.

Разбор

Это вопрос на рассуждение, потому что нужно прочитать все шесть высот столбцов и сравнить их разности, а не просто извлечь одно значение; судья GPT-4o сопоставляет короткий ответ с эталоном «70B» и выставляет бинарную оценку, влияющую на метрику точности рассуждения.

По этому бенчмарку пока нет проверенных результатов.