शोधकर्ताओं ने जाँच की कि विज़न-लैंग्वेज मॉडल (VLMs) आंतरिक रूप से सही गिनती को एन्कोड करने के बावजूद वस्तुओं की गिनती में क्यों संघर्ष करते हैं। उन्हें पता चला कि नॉनलिनियर प्रोब्स इन त्रुटियों का पता लगा सकते हैं, जो आंतरिक प्रतिनिधित्व और मौखिक आउटपुट के बीच असंगति को उजागर करती है।
- पाँच डेटासेट पर चार VLMs की सक्रियणों पर प्रोब्स को प्रशिक्षित करने से पता चलता है कि मॉडल अक्सर गलत जवाब देते समय भी सही गिनती को एन्कोड करते हैं।
- SVCCA विश्लेषण बताता है कि भूमि-सत्य गिनती और मॉडल आउटपुट पर प्रशिक्षित प्रोब्स आंशिक रूप से साझा सक्रियण सबस्पेस में रहते हैं लेकिन असंगत दिशाओं के साथ पढ़े जाते हैं।
- कारण नियंत्रण हस्तक्षेप सिद्ध करता है कि काउंट-आईडेंटिफाइड प्रोब्स की दिशा को मजबूत करने से गिनती प्रदर्शन में सुधार होता है।
- एक डिटेक्टर-गाइडेड सेल्फ-करेक्शन विधि केवल तभी मॉडल को पुनः प्रॉम्प्ट करती है जब आंतरिक त्रुटि डिटेक्टर असफलता की भविष्यवाणी करता है।
यह इनफरेंस-टाइम हस्तक्षेप किसी भी पैरामीटर अपडेट के बिना गिनती सटीकता को 15.6 निरपेक्ष प्रतिशत अंक तक बढ़ाता है, सक्रियण-आधारित त्रुटि प्रोबिंग को VLMs को बेहतर बनाने के लिए एक व्यावहारिक उपकरण के रूप में स्थापित करता है।