研究人员推出了 LACUNA，这是首个具有真实参数级定位能力的遗忘测试平台，旨在解决现有基准仅从输出层面评估遗忘的局限性。该平台通过掩码持续预训练，将合成的个人身份信息注入到基于 OLMo 的 1B 和 7B 模型的预定义参数中，从而可以直接评估遗忘方法是否针对负责知识存储的具体权重。
- LACUNA 允许通过使用注入到 OLMo 模型参数中的合成个体来评估定位精度。
- 基准测试显示，尽管最先进的方法在输出层面表现强劲，但它们精度极低且易受重显攻击的影响。
- 研究表明，成功的定位使得即使是简单的基于梯度的遗忘方法也能实现强大的擦除效果和鲁棒性。
作者发布 LACUNA 以补充行为评估，并推动基于定位的稳健遗忘技术的进一步发展。