शोधकर्ताओं ने विजुअल सेमैंटिक एंट्रॉपी (VSE) का प्रस्ताव रखा है, एक विधि जो टेक्स्ट क्वेरी को स्थिर रखते हुए केवल छवि में विक्षोभ डालकर विजन-लैंग्वेज मॉडल्स में अनिश्चितता को मापती है। यह दृष्टिकोण मौजूदा एंट्रॉपी-आधारित विधियों की विफलता को दूर करता है जो ओवरकॉन्फिडेंट एम्बेडिंग्स या टेक्चुअल डोमिनेंस के कारण विजुअल अस्पष्टता को सटीक रूप से कैप्चर करने में असमर्थ हैं।
- VSE उत्पन्न उत्तरों को सेमैंटिक प्रोटोटाइप्स में क्लस्टर करता है और उनके बीच मास-वेटेड डिस्पर्शन की गणना करता है।
- विधि टेक्चुअल पैरफ्रेजिंग से बचकर विजुअल सबूत को प्रॉम्प्ट संवेदनशीलता से अलग करती है।
- पाँच आधुनिक विजन-लैंग्वेज मॉडल्स और पाँच विविध VQA बेंचमार्क्स पर मूल्यांकन प्रभावकारिता को दर्शाता है।
- VSE ने VLM अनिश्चितता अनुमान के लिए एक नया SOTA स्थापित किया है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह विजुअल अस्पष्टता का अधिक सटीक माप प्रदान करता है, जो पहले की तकनीकों की सीमाओं को पार करता है जो आउटपुट विविधता या इनपुट विक्षोभ पर निर्भर थीं।