تقدم هذه الدراسة مجموعة بيانات Complex Social Behavior (CSB)، التي تحتوي على 100 صورة للتفاعلات الاجتماعية المعقدة، لتقييم نماذج الرؤية واللغة على مدى عقد من الزمان (2017-2025). تحلل البحث خمسة أنواع من أخطاء الإدراك البصري عبر أربعة نماذج لغوية كبيرة متعددة الوسائط قبل التدريب (Pre-Multimodal Large Language Models - MLLMs) وخمسة نماذج MLLM.
- حققت النماذج المبدئية (Pre-MLLMs) دقة أقل من أوصاف البشر في المرتبة الدنيا، بينما تساوت النماذج MLLM مع البشر في المرتبة العليا.
- قضت النماذج MLLM على فجوة الدقة بين مشاهد MS-COCO البسيطة ومشاهد CSB المعقدة.
- وُجد أن أخطاء الكشف، والتعرف، والهلوسة لها أعلى تأثير على دقة وصف المشهد.
- تظل الأخطاء المتعلقة بالاعتماد المكاني النوع الوحيد المهم من الأخطاء للنماذج MLLM في هذا التقييم.
توفر النتائج تقييماً أكثر شمولاً لكيفية تقدم نماذج الرؤية واللغة، مما يظهر أن النماذج MLLM قد قضت تقريباً على معظم أنواع الأخطاء باستثناء الاعتماد المكاني.