研究者らは、モデルの忘却が知識を本当に消去しているのか、それとも単に隠蔽しているのかを評価するために、グランドトゥルースのパラメータレベルでの局所化を特徴とする初の忘却テストベッドであるLACUNAを導入した。このテストベッドは、1Bおよび7BのOLMoベースモデルの定義されたパラメータに合成の個人識別情報を、マスクされた継続的事前学習を通じて注入する。

  • LACUNAにより、忘却手法が知識の保存に関与する特定の重みを対象としているかどうかを直接評価できる。
  • ベンチマークの結果、最先端の方法は出力レベルでのパフォーマンスが強くても、極めて不正確であり、再出現攻撃に対して脆弱であることが明らかになった。
  • 本研究は、成功した局所化により、単純な勾配ベースの手法でも強力な消去と再出現に対する堅牢性を達成できることを示している。

著者らは、行動評価を補完し、堅牢で局所化に基づく忘却のさらなる進展を促すためにLACUNAを公開した。