एक उपयोगकर्ता ने स्थानीय इनफरेंस में आत्मविश्वाली हैल्युसिनेशन का पता लगाने के लिए इसकी उपयोगिता का मूल्यांकन करने के लिए, Gemma 4 और Qwen विविधताओं सहित कई ओपन-सोर्स मॉडल पर Anthropic के ग्लोबल वर्कस्पेस / जैकोबियन लेंस पेपर का परीक्षण किया।
- अध्ययन में प्रत्येक मॉडल के लिए 500 TriviaQA प्रश्नों का उपयोग करके Gemma E4B, 12B, 12B एबलिटेरेटेड, 26B MoE और Qwen 3.6 27B मॉडल पर वर्कस्पेस ट्राजेक्टरी का विश्लेषण किया गया।
- Gemma मॉडल पर, स्वच्छ वर्कस्पेस 77% सटीकता के साथ सहसंबद्ध थे जबकि शोर वाले वर्कस्पेस घटकर 42% हो गए, और वर्कस्पेस फीचर्स ने केवल आउटपुट आत्मविश्वास से बेहतर प्रदर्शन किया।
- वर्कस्पेस ट्राजेक्टरी फीचर्स पर प्रशिक्षित एक लॉजिस्टिक रीग्रेशन राउटर ने गलत उत्तरों की भविष्यवाणी के लिए उच्च AUC स्कोर हासिल किए, विशेष रूप से Gemma E4B (0.787 संयुक्त) और 12B (0.843 संयुक्त) पर।
- यह दृष्टिकोण Qwen 27B पर विफल रहा, जहां आउटपुट आत्मविश्वास पहले से ही अच्छी तरह से कैलिब्रेटेड था और वर्कस्पेस फीचर्स ने कोई अतिरिक्त लाभ नहीं प्रदान किया।
- एबलिटेरेटेड मॉडल में आधार मॉडल की तुलना में काल्पनिक इकाइयों के लिए बढ़े हुए निर्माण दर दिखाई दीं, जो "मुझे नहीं पता" सिग्नल के नुकसान का सुझाव देती हैं।
निष्कर्ष संकेत करते हैं कि जैकोबियन-लेंस वर्कस्पेस ट्राजेक्टरी फीचर्स स्थानीय से क्लाउड रूटिंग के लिए एक प्रभावी वन-पास रिस्क सिग्नल के रूप में कार्य कर सकते हैं जब आउटपुट आत्मविश्वास गलत कैलिब्रेटेड हो।