शोधकर्ताओं ने ReFold का परिचय दिया, जो एक ट्रेनिंग-फ्री रेंडरिंग लेयर है जो इंटरैक्शन इतिहास को बनाए रखते हुए लंबी अवधि के LLM एजेंट्स के लिए मॉडल द्वारा रेंडर किए गए कॉन्टेक्स्ट को संपीडित करती है। यह प्रदर्शित सामग्री को स्टब्स से बदलकर और समाप्त चरणों को नोट्स में फोल्ड करके टर्न-दर-टर्न अतिरेक को हटा देता है, जो प्रीफिक्स कैश को बनाए रखने के लिए चंक किए गए पुनर्लेखन का उपयोग करता है।
- पहले चरणों में दिखाई गई सामग्री को हटा देता है और एजेंट द्वारा रिपोर्ट किए गए समाप्त चरणों को एक-लाइन नोट्स में फोल्ड कर देता है।
- हर स्टेप के बजाय कुछ स्टेप्स में एक बार कैश किए गए प्रीफिक्स को पुनर्लेखित करने के लिए चंक किए गए रेंडरिंग का उपयोग करता है।
- सुनिश्चित करता है कि सभी हटाव कठोरता से रिवर्सिबल हैं, जिससे यदि कोई हटाव गलत हो तो इतिहास से पुनर्स्थापना की जा सकती है।
- टोकन खपत को 2.5x तक कम करता है और कार्य सफलता दरों को बिगड़े बिना प्रति सत्र KV-cache मेमोरी को आधा कर देता है।
- सीमित कॉन्टेक्स्ट बजट के तहत 92% तक फोर्सड कंपैक्शन से बचता है और रिक्वेस्ट क्यूइंग विलंबता को 100% तक कम करता है।
ReFold मानक ReAct-शैली के हार्नेस के पार एक प्लग-एंड-प्ले समाधान के रूप में काम करता है, जो इन्फरेंस को 1.7x तक तेज करता है और इन्फरेंस लागत को 3.4x तक कम करता है।