يقترح الباحثون الانتروبيا الدلالية البصرية (VSE)، وهي طريقة تقيس عدم اليقين في نماذج الرؤية واللغة عن طريق إزعاج الصورة فقط مع الحفاظ على استعلام النص ثابتاً. يتناول هذا النهج فشل الطرق القائمة على الانتروبيا الحالية في التقاط الغموض البصري بدقة بسبب التضمينات المتحيزة للثقة أو هيمنة النص.
- تجمع VSE الإجابات المولدة في نماذج أولية دلالية وتحسب التشتت المرجح بالكتلة بينها.
- تعزل الطريقة الأدلة البصرية عن حساسية الأمر (prompt) بتجنب إعادة صياغة النص.
- تُظهر التقييمات عبر خمسة نماذج حديثة للرؤية واللغة وخمسة معايير VLM متنوعة فعاليتها.
- تحدد VSE معياراً جديداً (state-of-the-art) لتقدير عدم اليقين في نماذج VLM.
يعتقد المؤلفون أن هذا مهم لأنه يوفر مقياساً أدق للغموض البصري، متجاوزاً قيود التقنيات السابقة التي اعتمدت على تنوع المخرجات أو إزعاج المدخلات.