शोधकर्ताओं ने MemDefrag प्रस्तावित किया, एक ट्रेनिंग-फ्री फ्रेमवर्क जो लैटेंट मेमोरी अपडेट के दौरान पोजिशनल एन्कोडिंग असंरेखण के कारण बड़े भाषा मॉडलों में प्रदर्शन क्षय को संबोधित करता है। ट्रान्सफॉर्मर की मध्य परतों में एक ट्रैसिंग सिग्नल की पहचान करके, विधि संग्रहीत ज्ञान खंडों को पुनः क्रमित और फ़िल्टर करके धारण को बेहतर बनाती है।
- MemDefrag अनावश्यक खंडों के मुद्दों को हल करने के लिए मेमोरी को रैंक, पुनः क्रमित और फ़िल्टर करने के लिए मिडल-लेयर ट्रैसिंग सिग्नल का उपयोग करता है।
- जब मेमोरी क्षमता से अधिक हो जाती है, तो यह सूचनात्मकता-निर्देशित समानुपाती भूल जाने की प्रक्रिया लागू करती है।
- ज्ञान धारण में यह दृष्टिकोण MemoryLLM और M+ को काफी बेहतर करता है, 50 अपडेट के बाद 43.0% बनाम 17.4%/17.6% प्राप्त करता है।
- फ्रेमवर्क विभिन्न LLMs और लैटेंट-मेमोरी वेरिएंट्स में अच्छी तरह सामान्यीकृत होता है जबकि लंबे-संदर्भ बेंचमार्क्स में सुधार करता है।
यह विधि अतिरिक्त प्रशिक्षण की आवश्यकता के बिना संग्रहीत ज्ञान खंडों को प्रभावी ढंग से प्रबंधित करके LLMs में दीर्घकालिक मेमोरी क्षमताओं को काफी बढ़ाती है।