طور الباحثون معيارًا لتقييم القدرة متعددة اللغات لنماذج الرؤية واللغة (VLMs) على استخدام التعبيرات المكانية الإشارية، مثل "this" و "that"، عبر أربع لغات. تركز الدراسة على مدى قدرة هذه النماذج على الاستدلال المشترك بين اللغة والفضاء البصري لترسيخ المراجع المعتمدة على السياق في البنية المكانية للصورة.
- يختبر المعيار قدرة نماذج VLM على اختيار التعبيرات المكانية الإشارية المناسبة بناءً على السياق الوضعي والتمييزات المكانية الخاصة بكل لغة.
- تكشف التجارب أن النماذج المختبرة تستخدم الضمائر الإشارية بشكل مختلف عن البشر، لا سيما فيما يتعلق باختيار الضمائر الإشارية المناسبة بناءً على المسافة إلى الكائن.
تسلط هذه التقييم الضوء على فجوات محددة في كيفية تعامل نماذج VLM الحالية مع مهام الاستدلال المكاني المعقدة مقارنة بالأداء البشري.