对四个波兰语 Bielik 模型（1.5B-11B 参数）的研究表明，无监督激活色散度量可以在生成任何答案 token 之前，以高准确率区分已知实体和虚构实体。

  • SwiGLU MLP 激活后的逆参与比和谱熵在所有领域和规模上以 AUROC 0.95-1.00 分离已知实体与虚构实体。
  • 该信号跨实体类型迁移，在保留层选择中存活，并在真实姓名上保持 AUROC 0.96-1.00。
  • 尽管表征信号在 1.5B 参数时达到性能上限，但行为事实可靠性急剧扩展，随着模型规模增长，正确答案从 42 个中的 0 个增加到 19 个。
  • 尽管存在这种内部意识，模型几乎从不拒绝回答；审计发现，在 2,520 个回答中仅有两次拒绝和一次含糊其辞。

研究结果表明，实体熟悉度和事实可靠性是运行在不同扩展曲线上的不同现象，挑战了内部激活信号直接与行为正确性相关的假设。