Pesquisadores propõem o MemDefrag, um framework sem treinamento que aborda a degradação de desempenho em grandes modelos de linguagem causada pelo desalinhamento do codificador posicional durante atualizações de memória latente. Ao identificar um sinal de rastreamento nas camadas intermediárias do transformador, o método reordena e filtra fragmentos de conhecimento armazenados para melhorar a retenção.
- O MemDefrag utiliza um sinal de rastreamento de camada intermediária para classificar, reordenar e filtrar memórias, resolvendo problemas com fragmentos irrelevantes.
- Ele aplica um mecanismo de esquecimento proporcional guiado pela informatividade quando a capacidade da memória é excedida.
- A abordagem supera substancialmente o MemoryLLM e o M+ na retenção de conhecimento, alcançando 43,0% contra 17,4%/17,6% após 50 atualizações.
- O framework generaliza-se bem entre vários LLMs e variantes de memória latente, enquanto melhora benchmarks de contexto longo.
Este método aprimora significativamente as capacidades de memória de longo prazo em LLMs ao gerenciar efetivamente os fragmentos de conhecimento armazenados sem exigir treinamento adicional.