शोधकर्ता विज़न-लैंग्वेज मॉडल्स के क्यों विफल होते हैं, इसका निदान करने के लिए एक एकीकृत फ्रेमवर्क प्रस्तावित करते हैं, जिसमें दृश्य पहचान की बाधाओं और ज्ञान पुनर्प्राप्ति की कमी के बीच अंतर किया जाता है। अध्ययन जांचता है कि क्या पूर्व-जनरेशन संकेत विभिन्न डेटासेट और मॉडल परिवारों में इन विशिष्ट विफलता स्रोतों की भविष्यवाणी कर सकते हैं।
- दृश्य या पहचान बाधाओं से उत्पन्न होने वाली विफलताएं दृश्य-टोकन निरूपणों द्वारा सबसे अच्छी तरह कैप्चर की जाती हैं।
- इकाई पहचान के बाद भी बनी रहने वाली त्रुटियां प्रॉम्प्ट-शर्तित छिपी हुई अवस्थाओं द्वारा बेहतर भविष्यवाणी की जाती हैं।
- ये पूर्व-जनरेशन संकेत मॉडल के उत्तर उत्पन्न करने से पहले विफलता स्रोत की कुशलतापूर्वक भविष्यवाणी सक्षम बनाते हैं।
- अनिश्चित मामलों को छवि मरम्मत, इकाई पहचान सहायता, या बाहरी पुनर्प्राप्ति जैसे लक्षित हस्तक्षेपों के लिए रूट किया जा सकता है।
यह दृष्टिकोण VLMs में अनिश्चितता का अधिक सटीक निदान करने की अनुमति देता है, जिससे विशिष्ट सुधारात्मक कार्रवाई संभव होती है, बजाय इसके कि गलत उत्तरों को एकसंध विफलताओं के रूप में देखा जाए।