연구자들은 잠재 메모리 업데이트 중 위치 인코딩 불일치로 인해 발생하는 대규모 언어 모델의 성능 저하를 해결하는 학습 없는 프레임워크인 MemDefrag를 제안합니다. 이 방법은 중간 트랜스포머 계층에서 추적 신호를 식별하여 저장된 지식 조각을 재정렬 및 필터링하고 유지율을 개선합니다.

  • MemDefrag는 중간 계층 추적 신호를 활용하여 메모리를 순위 매기고, 재정렬하며, 필터링하여 관련 없는 조각 문제를 해결합니다.
  • 메모리 용량이 초과될 경우 정보량 기반 비례 망각 메커니즘을 적용합니다.
  • 이 접근 방식은 지식 유지 측면에서 MemoryLLM 및 M+를 크게 상회하며, 50회 업데이트 후 43.0%의 성능을 달성했습니다(대조군 17.4%/17.6%).
  • 이 프레임워크는 다양한 LLM 및 잠재 메모리 변형 전반에 잘 일반화되며 긴 컨텍스트 벤치마크도 개선합니다.

이 방법은 추가 학습 없이 저장된 지식 조각을 효과적으로 관리함으로써 LLM의 장기 기억 능력을 크게 향상시킵니다.