Conjunto de dados CSB revela que MLLMs eliminam a lacuna na precisão da descrição de cenas de comportamento social complexo

Este estudo apresenta o conjunto de dados Complex Social Behavior (CSB), contendo 100 imagens de interações sociais complexas, para avaliar modelos de visão-linguagem ao longo de uma década (2017-2025). A pesquisa analisa cinco tipos de erros visuo-cognitivos em quatro Modelos de Linguagem Grande Multimodais (MLLMs) anteriores e cinco MLLMs.

• Os MLLMs anteriores alcançaram menor precisão do que as descrições humanas de classificação inferior, enquanto os MLLMs igualaram-se aos humanos de classificação superior.
• Os MLLMs eliminaram a lacuna de precisão entre as cenas simples do MS-COCO e as cenas complexas do CSB.
• Verificou-se que os erros de detecção, reconhecimento e alucinação têm o maior impacto na precisão da descrição de cenas.
• Os erros de dependência espacial permanecem como o único tipo de erro significativo para os MLLMs nesta avaliação.

As descobertas fornecem uma avaliação mais completa do avanço dos modelos de visão-linguagem, mostrando que os MLLMs quase eliminaram a maioria dos tipos de erro, exceto a dependência espacial.