Les chercheurs proposent MemDefrag, un cadre sans entraînement qui adresse la dégradation des performances dans les grands modèles de langage causée par le désalignement de l'encodage positionnel lors des mises à jour de la mémoire latente. En identifiant un signal de traçage dans les couches intermédiaires du transformateur, la méthode réordonne et filtre les fragments de connaissances stockés pour améliorer la rétention.
- MemDefrag utilise un signal de traçage de couche intermédiaire pour classer, réordonner et filtrer les mémoires, résolvant les problèmes liés aux fragments non pertinents.
- Il applique un mécanisme d'oubli proportionnel guidé par l'informativité lorsque la capacité mémoire est dépassée.
- L'approche surpasse largement MemoryLLM et M+ en rétention de connaissances, atteignant 43,0 % contre 17,4 %/17,6 % après 50 mises à jour.
- Le cadre se généralise bien à travers divers LLM et variantes de mémoire latente tout en améliorant les benchmarks de contexte long.
Cette méthode améliore significativement les capacités de mémoire à long terme des LLM en gérant efficacement les fragments de connaissances stockés sans nécessiter d'entraînement supplémentaire.