一项研究提出了一个因果审计框架，用于评估有限记忆语言模型（LMLMs）中的事实删除，这些模型将知识外部化到数据库中以实现遗忘。该框架通过在推理时改变数据库状态，将参数泄漏与检索介导的正确性及伪影隔离开来。
- 作者在十三个数据库上测试了12,228个别名闭包删除，涉及四种对抗性拓扑和六种提示公式。
- 发现参数泄漏接近于零，意味着模型在没有检索的情况下很少返回已删除的答案。
- 残余知识主要通过近邻检索持续存在，速率范围从0.7%到13.6%，具体取决于数据库拓扑。
- 提示公式并未独立控制已删除事实的存活。
结果表明，对于此类LMLM，遗忘的有效性由数据库管理员对检索图的管理决定，而不是模型的内部参数。