研究人员提出了 MemDefrag，这是一个无需训练的方法框架，旨在解决由于潜在记忆更新期间位置编码错位而导致的大型语言模型性能下降问题。通过识别 Transformer 中间层的追踪信号，该方法对存储的知识片段进行重排序和过滤，以提高保留率。

  • MemDefrag 利用中间层追踪信号对记忆进行排名、重排序和过滤，解决不相关片段的问题。
  • 当超出记忆容量时，它应用由信息量引导的比例遗忘机制。
  • 该方法在知识保留方面大幅优于 MemoryLLM 和 M+，在 50 次更新后达到 43.0%，而后者分别为 17.4%/17.6%。
  • 该框架在各种 LLM 和潜在记忆变体中具有良好的泛化能力，同时提升了长上下文基准测试的表现。

该方法通过有效管理存储的知识片段（无需额外训练），显著增强了大型语言模型的长期记忆能力。