研究人员引入了“少知识”语言模型（KLLMs），这是一种在预训练期间对命名实体进行匿名化的训练范式，旨在使模型从参数化回忆转向基于证据的推理。

  • KLLMs 在包含匿名化命名实体的语料库上进行预训练，消除了与实体关联的事实监督。
  • 这种干预大幅降低了闭卷事实回忆能力，同时提升了在提供上下文信息任务上的表现。
  • 在多个规模下，KLLMs 在上下文问答、事实核查和幻觉检测基准测试中均优于基线模型。
  • 在具有不完备证据的检索增强设置中，KLLMs 相比标准语言模型实现了高达 20--25% 的相对提升。
  • 这些模型表现出更好的校准性（改进的 ECE、Brier score、AUROC）以及更可靠的拒绝回答行为。

结果表明，抑制与实体关联的监督会引发认知行为的转变，使 KLLMs 减少依赖参数化知识，转而更多地利用外部证据以提高可靠性。