शोधकर्ताओं ने ReFold का परिचय दिया, जो एक प्रशिक्षण-मुक्त रेंडरिंग परत है जो मॉडल के रेंडेर्ड संदर्भ को लंबे-अवधि LLM एजेंट्स में बिना अंतर्निहित इंटरैक्शन इतिहास को त्यागे संपीड़ित करती है। यह प्रदर्शित सामग्री को स्टब्स से बदलकर और समाप्त चरणों को नोट्स में फोल्ड करके टर्न-दर-टर्न अतिरेक को हटा देता है, कैश्ड प्राफ़िक्स को नियमित रूप से पुनः लिखने के लिए खंडित रेंडरिंग का उपयोग करता है।
- ReFold दो प्रकार के टर्न-दर-टर्न अतिरेक को समाप्त करता है: पूर्व में प्रदर्शित सामग्री और एजेंट द्वारा रिपोर्ट किए गए समाप्त चरण।
- विधि हर चरण पर नहीं, बल्कि कुछ चरणों पर कैश्ड प्राफ़िक्स को अपडेट करने के लिए खंडित रेंडरिंग का उपयोग करती है।
- सभी हटाव कठोरता से उत्क्रमणीय हैं, जिससे यदि कोई हटाव गलत हो तो इतिहास से पुनर्स्थापना की जा सकती है।
- पांच बेंचमार्क्स और दो फ्रंटियर LLMs पर किए गए मूल्यांकनों में टोकन खपत में 2.5x तक की कमी और KV-cache मेमोरी में आधी कमी दिखाई गई।
- सीमित संदर्भ बजट के तहत, ReFold जबरदस्त संपीड़न (forced compactions) से 92% तक की रोकथाम करता है।
- समानांतर सर्विंग कार्यभार में, यह अनुरोध कतारबद्ध विलंबता को 100% तक कम करता है, इनफरेंस को 1.7x तक तेज करता है, और लागत को 3.4x तक काटता है।
ReFold को मानक ReAct-शैली के हार्नेस के लिए प्लग-एंड-प्ले समाधान के रूप में डिज़ाइन किया गया है, जो मौजूदा पूर्वानुमानित संदर्भ प्रबंधन विधियों की सीमाओं को दूर करता है जो रनटाइम ओवरहेड लाती हैं और प्राफ़िक्स कैश को अमान्य कर देती हैं।