يقترح الباحثون إطار عمل خالٍ من التدريب يُدعى MemDefrag، يعالج تدهور الأداء في النماذج اللغوية الكبيرة الناتج عن عدم تطابق الترميز الموضعي أثناء تحديثات الذاكرة الكامنة. ومن خلال تحديد إشارة تتبع في طبقات المحوّل الوسطى، تعيد الطريقة ترتيب وتصفية أجزاء المعرفة المخزنة لتحسين الاحتفاظ بها.
- يستخدم MemDefrag إشارة تتبع الطبقة الوسطى لترتيب وإعادة ترتيب وتصفية الذواكر، مما يحل مشكلات الأجزاء غير ذات الصلة.
- يطبق آلية نسيان تناسبية موجهة بالمعلوماتية عند تجاوز سعة الذاكرة.
- تفوق هذه النهج بشكل كبير MemoryLLM و M+ في الاحتفاظ بالمعرفة، محققةً 43.0% مقابل 17.4%/17.6% بعد 50 تحديثًا.
- يتعمم الإطار جيدًا عبر نماذج لغوية كبيرة متنوعة ومتغيرات الذاكرة الكامنة مع تحسين معايير السياق الطويل.
تعزز هذه الطريقة بشكل كبير قدرات الذاكرة طويلة المدى في النماذج اللغوية الكبيرة من خلال إدارة فعالة لأجزاء المعرفة المخزنة دون الحاجة إلى تدريب إضافي.