В данном исследовании представлен набор данных Complex Social Behavior (CSB), содержащий 100 изображений сложных социальных взаимодействий, для оценки моделей «зрение-язык» за десятилетие (2017–2025 гг.). Исследование анализирует пять типов визуальных когнитивных ошибок в четырех до-мультимодальных больших языковых моделях (MLLM) и пяти MLLM.

  • До-MLLM показали более низкую точность по сравнению с описаниями людей из нижней части рейтинга, тогда как MLLM сравнялись с людьми из верхней части рейтинга.
  • MLLM устранили разрыв в точности между простыми сценами MS-COCO и сложными сценами CSB.
  • Обнаружено, что ошибки обнаружения, распознавания и галлюцинаций оказывают наибольшее влияние на точность описания сцен.
  • Ошибки пространственной зависимости остаются единственным значимым типом ошибок для MLLM в данной оценке.

Полученные результаты обеспечивают более тщательную оценку прогресса моделей «зрение-язык», показывая, что MLLM практически устранили большинство типов ошибок, за исключением пространственной зависимости.