研究者らは、事前学習中に固有表現を匿名化することで、モデルのパラメータ記憶から離れ、証拠に基づく推論へと移行させるトレーニングパラダイムであるKnowledge--''Less'' Language Models (KLLMs)を紹介している。

  • KLLMsは、固有表現が匿名化されたコーパスで事前学習され、エンティティにリンクされた事実の教師信号が除去される。
  • この介入により、クローズドブックでの事実想起が大幅に減少する一方で、情報がコンテキストとして提供されるタスクのパフォーマンスは向上する。
  • 複数のスケールにおいて、KLLMsは文脈質問応答、事実検証、ハルシネーション検出のベンチマークでベースラインを上回る。
  • 不完全な証拠を持つ検索基盤の設定では、KLLMsは標準的な言語モデルに対して最大20--25%の相対的な向上を実現する。
  • モデルはより良い較正（改善されたECE、Brierスコア、AUROC）とより信頼性の高い拒否動作を示す。

これらの結果は、エンティティにリンクされた教師信号を抑制することが認識論的行動の変化を引き起こし、KLLMsがパラメータ知識への依存を減らし、外部証拠により依存することで信頼性を向上させることを示している。