शोधकर्ताओं ने चार भाषाओं में दृश्य-भाषा मॉडल (VLM) की बहुभाषी क्षमता का मूल्यांकन करने के लिए एक बेंचमार्क विकसित किया, जो "यह" और "वह" जैसे स्थानीय संदर्भ अभिव्यक्तियों का उपयोग करते हैं। अध्ययन इस बात पर केंद्रित है कि ये मॉडल भाषा और दृश्य स्थान के ऊपर संयुक्त रूप से तर्क कैसे करते हैं ताकि एक छवि की स्थानीय संरचना में संदर्भ-निर्भर संदर्भों को आधारित किया जा सके।
- बेंचमार्क स्थितिगत संदर्भ और भाषा-विशिष्ट स्थानीय भेदों के आधार पर उचित स्थानीय संदर्भ अभिव्यक्तियों का चयन करने की VLM क्षमता का परीक्षण करता है।
- प्रयोगों से पता चलता है कि परीक्षित मॉडल मानवों की तुलना में संदर्भक को अलग तरह से उपयोग करते हैं, विशेष रूप से वस्तु की दूरी के आधार पर उचित संदर्भक के चयन के संबंध में।
यह मूल्यांकन इस बात में विशिष्ट अंतराल को उजागर करता है कि वर्तमान VLM मानव प्रदर्शन की तुलना में जटिल स्थानीय तर्क कार्यों को कैसे संभालते हैं।