Peneliti mengusulkan MemDefrag, sebuah kerangka kerja tanpa pelatihan yang mengatasi degradasi kinerja pada model bahasa besar yang disebabkan oleh ketidaksesuaian pengodean posisi selama pembaruan memori laten. Dengan mengidentifikasi sinyal pelacakan di lapisan transformator tengah, metode ini menyusun ulang dan memfilter fragmen pengetahuan yang disimpan untuk meningkatkan retensi.
- MemDefrag memanfaatkan sinyal pelacakan lapisan tengah untuk memberi peringkat, menyusun ulang, dan memfilter memori, menyelesaikan masalah dengan fragmen yang tidak relevan.
- Mekanisme lupa proporsional yang dipandu oleh informativitas diterapkan ketika kapasitas memori terlampaui.
- Pendekatan ini secara substansial mengungguli MemoryLLM dan M+ dalam retensi pengetahuan, mencapai 43,0% versus 17,4%/17,6% setelah 50 pembaruan.
- Kerangka kerja ini bergeneralisasi dengan baik di berbagai LLM dan varian memori laten sambil meningkatkan benchmark konteks panjang.
Metode ini secara signifikan meningkatkan kemampuan memori jangka panjang pada LLM dengan mengelola fragmen pengetahuan yang disimpan secara efektif tanpa memerlukan pelatihan tambahan.