इस अध्ययन में Complex Social Behavior (CSB) डेटासेट पेश किया गया है, जिसमें 100 जटिल सामाजिक इंटरैक्शन की छवियां शामिल हैं, ताकि एक दशक (2017-2025) के दौरान विजन-लैंग्वेज मॉडल्स का मूल्यांकन किया जा सके। शोध चार प्री-मल्टीमोडल लार्ज लैंग्वेज मॉडल्स (MLLMs) और पांच MLLMs में पांच विज़ुअल-कॉग्निटिव त्रुटि प्रकारों का विश्लेषण करता है।
- प्री-MLLMs ने निचले स्तर के मानव वर्णनों की तुलना में कम सटीकता हासिल की, जबकि MLLMs शीर्ष स्तर के मानवों के बराबर थे।
- MLLMs ने सरल MS-COCO दृश्यों और जटिल CSB दृश्यों के बीच सटीकता के अंतर को समाप्त कर दिया।
- पता चला है कि डिटेक्शन, रिकग्निशन और हैलुसिनेशन त्रुटियों का दृश्य वर्णन की सटीकता पर सबसे अधिक प्रभाव होता है।
- स्थानिक निर्भरता त्रुटियां इस मूल्यांकन में MLLMs के लिए एकमात्र महत्वपूर्ण त्रुटि प्रकार बनी हुई हैं।
इन निष्कर्षों ने विजन लैंग्वेज मॉडल्स की प्रगति का अधिक व्यापक मूल्यांकन प्रदान किया है, यह दिखाते हुए कि MLLMs ने स्थानिक निर्भरता को छोड़कर अधिकांश त्रुटि प्रकारों को लगभग समाप्त कर दिया है।