本研究では、複雑な社会的相互作用の100枚の画像を含むComplex Social Behavior (CSB)データセットを紹介し、過去10年（2017-2025年）にわたるビジョン言語モデルを評価する。この研究は、4つのPre-Multimodal Large Language Models (MLLMs)と5つのMLLMsにわたって5つの視覚認知エラータイプを分析している。

  • Pre-MLLMsは最下位ランクの人間記述よりも低い精度を達成したが、MLLMsは最上位ランクの人間と同等であった。
  • MLLMsは単純なMS-COCOシーンと複雑なCSBシーンの間の精度格差を解消した。
  • 検出、認識、および幻覚エラーがシーン記述精度に最も大きな影響を与えることが発見された。
  • 空間依存エラーは、この評価におけるMLLMsにとって唯一の重要なエラータイプとして残っている。

これらの知見は、ビジョン言語モデルがいかに進歩したかについてのより徹底的な評価を提供し、MLLMsが空間依存を除くほとんどのエラータイプをほぼ解消していることを示している。