चार पोलिश Bielik मॉडल (1.5B-11B पैरामीटर) के अध्ययन से पता चलता है कि अनसुपervised सक्रियण प्रकीर्णन माप किसी भी उत्तर टोकन उत्पन्न होने से पहले ज्ञात सत्ताओं को काल्पनिक सत्ताओं से उच्च सटीकता के साथ अलग कर सकते हैं।
- SwiGLU MLP सक्रियणों पर व्युत्क्रम भागीदारी अनुपात और स्पेक्ट्रल एन्ट्रापी सभी डोमेन और स्केल पर AUROC 0.95-1.00 के साथ ज्ञात सत्ताओं को काल्पनिक सत्ताओं से अलग करते हैं।
- संकेत सत्ता प्रकारों के पार स्थानांतरित होता है, हल्का-आउट परत चयन का सामना करता है, और वास्तविक नामों पर AUROC 0.96-1.00 के साथ बना रहता है।
- जबकि प्रतिनिधित्व संकेत 1.5B पैरामीटर पर छत प्रदर्शन तक पहुंच जाता है, व्यवहारिक तथ्यात्मक विश्वसनीयता तेजी से स्केल होती है, और सही उत्तर मॉडल के आकार बढ़ने के साथ 42 में से 0 से 19 तक बढ़ जाते हैं।
- इस आंतरिक जागरूकता के बावजूद, मॉडल लगभग कभी भी विरत नहीं रहते; एक ऑडिट ने 2,520 उत्तरों में केवल दो अस्वीकार और एक संदेह पाया।
निष्कर्ष इंगित करते हैं कि सत्ता की परिचितता और तथ्यात्मक विश्वसनीयता अलग-अलग स्केलिंग वक्रों पर काम करने वाले भिन्न घटनाएं हैं, जो आंतरिक सक्रियण संकेतों का व्यवहारिक सही होने के साथ सीधे सहसंबंधित होने के मान्यता को चुनौती देती हैं।