Sebuah studi terhadap empat model Bielik Polandia (parameter 1,5B-11B) menunjukkan bahwa ukuran dispersi aktivasi tanpa pengawasan dapat membedakan entitas yang dikenal dari yang direkayasa sebelum token jawaban apa pun dihasilkan. Dengan menggunakan rasio partisipasi invers dan entropi spektral pada aktivasi MLP pasca-SwiGLU, para peneliti mencapai skor AUROC 0,95-1,00 di domain atlet, kota, penulis, dan musisi.
- Sinyal tersebut memisahkan entitas yang dikenal dari yang direkayasa dengan kinerja puncak, bertahan dalam pemilihan lapisan yang diisolasi dan berpindah antar jenis entitas dengan AUROC off-diagonal rata-rata 0,92-0,99.
- Meskipun sinyal representasional untuk keakraban mencapai puncak pada parameter 1,5B, reliabilitas faktual perilaku meningkat tajam, dengan jumlah jawaban benar naik dari 0 menjadi 19 seiring bertambahnya ukuran model.
- Memisahkan jawaban benar dari yang halusinasi di dalam entitas yang dikenal tetap sulit, dengan dispersi tidak lebih baik daripada baseline entropi token pertama.
- Meskipun memiliki kesadaran internal mengenai keakraban entitas, model hampir tidak pernah menolak untuk menjawab; sebuah audit menemukan hanya dua penolakan dan satu penghindaran dari 2.520 jawaban.
Temuan ini menunjukkan bahwa keakraban entitas dan reliabilitas faktual adalah fenomena berbeda yang mengikuti kurva penskalaan berbeda, menyarankan bahwa sinyal aktivasi internal saja mungkin tidak cukup untuk mencegah halusinasi tanpa mekanisme tambahan.