본 연구는 복잡한 사회적 상호작용의 100장 이미지를 포함하는 Complex Social Behavior (CSB) 데이터셋을 소개하여 지난 10년(2017-2025) 동안 비전-언어 모델을 평가합니다. 이 연구는 4개의 Pre-Multimodal Large Language Models (MLLMs)와 5개의 MLLMs에 걸쳐 5가지 시각 인지 오류 유형을 분석합니다.

  • Pre-MLLMs는 하위 랭크 인간 설명보다 낮은 정확도를 달성한 반면, MLLMs는 상위 랭크 인간과 동등했습니다.
  • MLLMs는 단순한 MS-COCO 장면과 복잡한 CSB 장면 사이의 정확도 격차를 해소했습니다.
  • 감지, 인식 및 환각 오류가 장면 설명 정확도에 가장 큰 영향을 미치는 것으로 발견되었습니다.
  • 공간 의존 오류는 이 평가에서 MLLMs에 대해 유일한 중요한 오류 유형으로 남아 있습니다.

이 결과는 비전 언어 모델이 어떻게 진보했는지에 대한 더 철저한 평가를 제공하며, MLLMs가 공간 의존을 제외하고 대부분의 오류 유형을 거의 해소했음을 보여줍니다.