研究人员推出了 LACUNA，这是首个具有真实参数级定位能力的遗忘测试平台，用于评估模型遗忘是否真正擦除了知识，还是仅仅掩盖了它。该平台通过掩码持续预训练，将合成的个人身份信息注入到基于 OLMo 的 1B 和 7B 模型的预定义参数中。
- LACUNA 能够直接评估遗忘方法是否针对负责知识存储的特定权重。
- 基准测试显示，尽管最先进的模型在输出层面表现强劲，但这些方法精度极低且易受重显攻击的影响。
- 研究表明，成功的定位使得即使是简单的基于梯度的方法也能实现强大的擦除效果，并对重显攻击具有鲁棒性。
作者发布 LACUNA 旨在补充行为评估，并推动基于定位的稳健遗忘技术的进一步发展。