4つのポーランド製Bielikモデル（1.5B〜11Bパラメータ）を対象とした研究により、教師なし活性化分散測定値が、回答トークンが生成される前に既知のエンティティと捏造されたエンティティを高い精度で区別できることが示された。

  • SwiGLU後のMLP活性化に対する逆参加比およびスペクトルエントロピーは、すべてのドメインとスケールにおいてAUROC 0.95〜1.00で既知のエンティティと捏造されたエンティティを分離する。
  • この信号はエンティティタイプ間で伝達され、ホールドアウト層選択に耐え、実在の名前においてもAUROC 0.96〜1.00で持続する。
  • 表現的信号は1.5Bパラメータで天井性能に達する一方、行動的な事実の信頼性は急激にスケールし、モデルサイズが大きくなるにつれて正解数が42問中0から19へ増加する。
  • この内部的な認識にもかかわらず、モデルはほとんど拒否しない；監査では2,520件の回答のうち拒否が2件、曖昧な表現が1件にとどまった。

これらの知見は、エンティティの熟悉度と事実の信頼性が異なるスケール曲線上で動作する別個の現象であることを示し、内部的な活性化信号が行動的正解性と直接相関するという仮定に疑問を投げかける。