Sebuah studi terhadap empat model Bielik Polandia (parameter 1,5B-11B) menunjukkan bahwa ukuran dispersi aktivasi tanpa pengawasan dapat membedakan entitas yang diketahui dari yang direkayasa dengan akurasi tinggi sebelum token jawaban apa pun dihasilkan.

  • Rasio partisipasi invers dan entropi spektral atas aktivasi MLP pasca-SwiGLU memisahkan entitas yang diketahui dari yang direkayasa pada AUROC 0,95-1,00 di seluruh domain dan skala.
  • Sinyal tersebut berpindah melintasi jenis entitas, bertahan dalam pemilihan lapisan yang diabaikan, dan tetap ada pada nama-nama nyata dengan AUROC 0,96-1,00.
  • Meskipun sinyal representasional mencapai kinerja puncak pada parameter 1,5B, reliabilitas faktual perilaku meningkat tajam, dengan jawaban benar bertambah dari 0 menjadi 19 dari 42 seiring pertumbuhan ukuran model.
  • Meskipun memiliki kesadaran internal ini, model hampir tidak pernah menolak; sebuah audit menemukan hanya dua penolakan dan satu penghindaran di antara 2.520 jawaban.

Temuan tersebut mengindikasikan bahwa keakraban entitas dan reliabilitas faktual adalah fenomena berbeda yang beroperasi pada kurva penskalaan berbeda, menantang asumsi bahwa sinyal aktivasi internal berkorelasi langsung dengan kebenaran perilaku.