研究者らは、既存のベンチマークが忘却の評価を出力レベルのみで行うという限界に対処するため、正解パラメータレベルの局所化を特徴とする初の忘却テストベッドであるLACUNAを導入した。このテストベッドは、マスク付き継続的事前トレーニングを通じて1Bおよび7BのOLMoベースモデルの定義済みパラメータに合成個人識別情報を注入し、忘却手法が知識保存に関与する特定の重みを対象としているかどうかを直接評価することを可能にする。

  • LACUNAは、OLMoモデルのパラメータに注入された合成個人を使用して、局所化精度の評価を可能にする。
  • ベンチマークの結果、最先端の方法は出力レベルでのパフォーマンスが強くても、非常に不正確であり、再出現攻撃に対して脆弱であることが明らかになった。
  • この研究は、成功した局所化により、単純な勾配ベースの忘却手法でさえも強力な消去と堅牢性を達成できることを示している。

著者らは、行動評価を補完し、堅牢な局所化ベースの忘却におけるさらなる進展を促進するため、LACUNAを公開した。