El conjunto de datos CSB revela que los MLLM eliminan la brecha en la precisión de la descripción de escenas de comportamiento social complejo

Este estudio presenta el conjunto de datos Complex Social Behavior (CSB), que contiene 100 imágenes de interacciones sociales complejas, para evaluar modelos de visión-lenguaje a lo largo de una década (2017-2025). La investigación analiza cinco tipos de errores visuo-cognitivos en cuatro Modelos de Lenguaje Grande Multimodales (MLLM) previos y cinco MLLM.

• Los MLLM previos lograron una precisión menor que las descripciones humanas de rango inferior, mientras que los MLLM igualaron a los humanos de rango superior.
• Los MLLM eliminaron la brecha de precisión entre las escenas simples de MS-COCO y las escenas complejas de CSB.
• Se encontró que los errores de detección, reconocimiento y alucinación tienen el mayor impacto en la precisión de la descripción de escenas.
• Los errores de dependencia espacial siguen siendo el único tipo de error significativo para los MLLM en esta evaluación.

Los hallazgos proporcionan una evaluación más exhaustiva del avance de los modelos de visión-lenguaje, mostrando que los MLLM han eliminado casi todos los tipos de error, excepto la dependencia espacial.