本研究引入了Complex Social Behavior (CSB)数据集，包含100张复杂社交互动的图像，用于评估2017-2025年间的视觉-语言模型。研究分析了四种前多模态大语言模型（MLLM）和五种MLLM中的五种视觉认知错误类型。

  • 前MLLM的准确率低于排名靠后的人类描述，而MLLM则与排名靠前的人类持平。
  • MLLM消除了简单MS-COCO场景与复杂CSB场景之间的准确率差距。
  • 发现检测、识别和幻觉错误对场景描述准确性的影响最大。
  • 空间依赖错误仍然是本次评估中MLLM唯一的显著错误类型。

这些发现提供了对视觉语言模型进展的更彻底评估，表明MLLM几乎消除了除空间依赖之外的所有错误类型。