研究者らは、潜在メモリ更新中の位置エンコーディングの不一致によって引き起こされる大規模言語モデルのパフォーマンス低下に対処するトレーニング不要のフレームワークであるMemDefragを提案している。この手法は、中間トランスフォーマー層におけるトレース信号を特定することで、保存された知識断片を再順序付けおよびフィルタリングし、保持率を向上させる。

  • MemDefragは中間層のトレース信号を利用してメモリをランク付け、再順序付け、フィルタリングし、関連性の低い断片に関する問題を解決する。
  • メモリ容量が超過した場合、情報量に基づく比例忘却メカニズムを適用する。
  • このアプローチは、知識保持においてMemoryLLMおよびM+を大幅に上回り、50回の更新後に43.0%の性能を達成した（対照群は17.4%/17.6%）。
  • このフレームワークは、さまざまなLLMおよび潜在メモリバリアント間でよく一般化し、長文コンテキストベンチマークも改善する。

この手法は、追加のトレーニングを必要とせずに保存された知識断片を効果的に管理することで、LLMの長期記憶能力を大幅に強化する。