चार पोलिश बिएलिक मॉडलों (1.5B-11B पैरामीटर) के एक अध्ययन ने दिखाया कि अनसुपervised सक्रियण प्रसार माप परिचित सत्ताओं और काल्पनिक सत्ताओं को किसी भी उत्तर टोकन के उत्पन्न होने से पहले ही अलग कर सकते हैं। पोस्ट-SwiGLU MLP सक्रियणों पर व्युत्क्रम भागीदारी अनुपात और स्पेक्ट्रल एंट्रोपी का उपयोग करते हुए, शोधकर्ताओं ने खिलाड़ी, शहर, लेखक और संगीतकार डोमेन में 0.95-1.00 AUROC स्कोर प्राप्त किए।
- संकेत परिचित और काल्पनिक सत्ताओं को छत प्रदर्शन पर अलग करता है, जो हल्का-आउट लेयर चयन के लिए टिकता है और मध्यम ऑफ-डायगोनल AUROC 0.92-0.99 के साथ सत्ता प्रकारों के बीच स्थानांतरित होता है।
- जबकि परिचितता के लिए प्रतिनिधित्व संकेत 1.5B पैरामीटर पर छत तक पहुँच जाता है, व्यवहारिक तथ्यात्मक विश्वसनीयता तेजी से बढ़ती है, और सही उत्तरों की संख्या मॉडल आकार बढ़ने के साथ 0 से 19 तक बढ़ जाती है।
- परिचित सत्ताओं के भीतर सही उत्तरों को काल्पनिक उत्तरों से अलग करना मुश्किल बना हुआ है, जहाँ प्रसार एक पहले-टोकन-एंट्रोपी आधार रेखा से बेहतर नहीं करता है।
- इस आंतरिक परिचितता के बावजूद, मॉडल लगभग कभी भी उत्तर देने से इनकार नहीं करते; एक ऑडिट में 2,520 उत्तरों में केवल दो अस्वीकृतियाँ और एक संदेह मिला।
यह निष्कर्ष दर्शाता है कि सत्ता की परिचितता और तथ्यात्मक विश्वसनीयता अलग-अलग स्केलिंग वक्रों का पालन करने वाले अलग घटनाएँ हैं, जिसका सुझाव है कि आंतरिक सक्रियण संकेत अकेले अतिरिक्त तंत्रों के बिना काल्पनिक उत्तरों को रोकने के लिए पर्याप्त नहीं हो सकते।