Исследователи предлагают MemDefrag, фреймворк без дообучения, который решает проблему снижения производительности больших языковых моделей, вызванную рассинхронизацией позиционного кодирования при обновлениях латентной памяти. Выявляя сигнал трассировки в промежуточных слоях трансформера, метод перестраивает и фильтрует сохранённые фрагменты знаний для улучшения их удержания.
- MemDefrag использует сигнал трассировки промежуточного слоя для ранжирования, перестановки и фильтрации памяти, решая проблемы с нерелевантными фрагментами.
- При превышении ёмкости памяти применяется механизм пропорционального забывания, направляемый информативностью.
- Подход существенно превосходит MemoryLLM и M+ по удержанию знаний, достигая 43.0% против 17.4%/17.6% после 50 обновлений.
- Фреймворк хорошо обобщается на различные LLM и варианты латентной памяти, одновременно улучшая показатели в задачах с длинным контекстом.
Этот метод значительно усиливает способности к долгосрочной памяти в больших языковых моделях за счёт эффективного управления сохранёнными фрагментами знаний без необходимости дополнительного обучения.