4つのPolish Bielikモデル（1.5B〜11Bパラメータ）に関する研究は、教師なし活性化分散測定が、回答トークンが生成される前に既知のエンティティと捏造されたエンティティを区別できることを実証している。SwiGLU後のMLP活性化に対する逆参加率およびスペクトルエントロピーを使用し、研究者はアスリート、都市、作家、ミュージシャンのドメイン全体で0.95〜1.00のAUROCスコアを達成した。

  • この信号は既知のエンティティと捏造されたエンティティを天井性能で分離し、保持された層選択に耐え、平均オフダイアゴナルAUROC 0.92〜0.99でエンティティタイプ間で転移する。
  • 熟悉度に対する表現的信号は1.5Bパラメータで天井に達するが、行動的な事実の信頼性は急激にスケールし、モデルサイズが増加するにつれて正解数が0から19へ増加する。
  • 既知のエンティティ内で正解と幻覚を分離することは依然として困難であり、分散は最初のトークンエントロピーベースラインよりも優れていない。
  • エンティティの熟悉度に対する内部認識にもかかわらず、モデルは回答を拒否することがほとんどなく、2,520件の回答のうち拒否が2件、回避表現が1件しか見つからなかった。

これらの知見は、エンティティの熟悉度と事実の信頼性が異なるスケール曲線に従う別個の現象であることを示しており、追加のメカニズムなしでは内部活性化信号のみでは幻覚を防ぐのに不十分である可能性を示唆している。