Los investigadores proponen MemDefrag, un marco sin entrenamiento que aborda la degradación del rendimiento en modelos de lenguaje grandes causada por el desalineamiento del codificado posicional durante las actualizaciones de memoria latente. Al identificar una señal de trazado en las capas intermedias del transformador, el método reordena y filtra fragmentos de conocimiento almacenados para mejorar la retención.
- MemDefrag utiliza una señal de trazado de capa intermedia para clasificar, reordenar y filtrar memorias, resolviendo problemas con fragmentos irrelevantes.
- Aplica un mecanismo de olvido proporcional guiado por la informatividad cuando se excede la capacidad de memoria.
- El enfoque supera sustancialmente a MemoryLLM y M+ en retención de conocimiento, logrando 43.0% frente a 17.4%/17.6% después de 50 actualizaciones.
- El marco se generaliza bien entre varios LLM y variantes de memoria latente mientras mejora los benchmarks de contexto largo.
Este método mejora significativamente las capacidades de memoria a largo plazo en LLM al gestionar eficazmente los fragmentos de conocimiento almacenados sin requerir entrenamiento adicional.