ある研究は、忘却のために知識をデータベースに外部化するLimited Memory Language Models (LMLMs)における事実的削除を評価するための因果監査フレームワークを提案している。このフレームワークは、推論時にデータベースの状態を変化させることで、パラメトリックなリーケージと検索を介した正答性およびアーティファクトを分離する。

  • 著者らは、13のデータベースにおいて4つの敵対的トポロジーと6つのプロンプト形式を用いて、12,228件のエイリアス閉包削除をテストした。
  • パラメトリックなリーケージはほぼゼロであることが発見され、これはモデルが検索なしで削除された回答を返すことがほとんどないことを意味する。
  • 残存知識は主に近傍検索を通じて持続し、その率はデータベースのトポロジーに応じて0.7%から13.6%の範囲であった。
  • プロンプト形式は、削除された事実の生存を独立して制御しなかった。

結果は、この種のLMLMにおいて、忘却の有効性はモデルの内部パラメータではなく、検索グラフの管理を行うデータベース管理者によって決定されることを示している。