Le jeu de données CSB révèle que les MLLM éliminent l'écart de précision dans la description de scènes de comportements sociaux complexes

Cette étude introduit le jeu de données Complex Social Behavior (CSB), contenant 100 images d'interactions sociales complexes, pour évaluer les modèles vision-langue sur une décennie (2017-2025). La recherche analyse cinq types d'erreurs visuo-cognitives à travers quatre Pre-Multimodal Large Language Models (MLLM) et cinq MLLM.

• Les Pre-MLLM ont obtenu une précision inférieure aux descriptions humaines de rang inférieur, tandis que les MLLM ont égalé les humains de rang supérieur.
• Les MLLM ont éliminé l'écart de précision entre les scènes simples MS-COCO et les scènes complexes CSB.
• Il a été constaté que les erreurs de détection, de reconnaissance et d'hallucination avaient le plus grand impact sur la précision de description de scène.
• Les erreurs de dépendance spatiale restent le seul type d'erreur significatif pour les MLLM dans cette évaluation.

Les résultats fournissent une évaluation plus approfondie de l'avancement des modèles vision-langue, montrant que les MLLM ont presque éliminé la plupart des types d'erreurs, à l'exception de la dépendance spatiale.