对四个波兰语Bielik模型（1.5B-11B参数）的研究表明，无监督的激活色散度量可以在生成任何答案词元之前区分已知实体和虚构实体。通过在SwiGLU MLP激活后使用逆参与比和谱熵，研究人员在运动员、城市、作家和音乐家领域实现了0.95-1.00的AUROC分数。

  • 该信号以天花板性能将已知实体与虚构实体分离，在保留层选择和跨实体类型迁移方面表现稳健，对角线外AUROC均值达到0.92-0.99。
  • 尽管熟悉度的表征信号在1.5B参数时即达到天花板，但行为上的事实可靠性随模型规模急剧扩展，正确答案数量从0增加到19。
  • 在已知实体内将正确答案与幻觉答案分离仍然困难，色散的表现并不优于首个词元熵基线。
  • 尽管存在对实体熟悉度的内部感知，但这些模型几乎从不拒绝回答；审计发现，在2,520个答案中仅有两次拒绝和一次含糊其辞。

研究结果表明，实体熟悉度和事实可靠性是遵循不同缩放曲线的独立现象，这表明仅靠内部激活信号不足以防止幻觉，需要额外的机制。