يقدم الباحثون ReFold، وهي طبقة عرض لا تحتاج إلى تدريب تضغط سياق النموذج المعروض في وكلاء LLM طويلي المدى دون التخلي عن تاريخ التفاعل الأساسي. تزيل التكرار بين الأدوار عن طريق استبدال المحتوى المعروض بعلامات فارغة وطي الأدوار المكتملة في ملاحظات، باستخدام العرض المقطعي لإعادة كتابة البادئة المخزنة بشكل دوري.
- يلغي ReFold نوعين من التكرار بين الأدوار: المحتوى المعروض سابقاً والأدوار المكتملة التي أبلغ عنها الوكيل.
- تستخدم الطريقة العرض المقطعي لتحديث البادئة المخزنة كل بضع خطوات بدلاً من كل خطوة.
- جميع عمليات الإزالة قابلة للعكس تماماً، مما يسمح باستعادة البيانات من التاريخ إذا كانت عملية الإزالة غير صحيحة.
- أظهرت التقييمات عبر خمسة معايير تقييم ونموذجين رائدين للـ LLM انخفاضاً بنسبة تصل إلى 2.5 مرة في استهلاك الرموز (tokens) وانخفاضاً بمقدار النصف في ذاكرة KV-cache.
- ضمن ميزانيات السياق المحدودة، يتجنب ReFold ما يصل إلى 92% من عمليات الانكماش القسري.
- في أعباء العمل للخدمة المتزامنة، يقلل من تأخير طابور الطلبات بنسبة تصل إلى 100%، ويسرع الاستدلال بمقدار 1.7 مرة، ويخفض التكاليف بنسبة تصل إلى 3.4 مرة.
صُمم ReFold كحل جاهز للتوصيل والاستخدام (plug-and-play) لأطر عمل نمط ReAct القياسية، لمعالجة قيود طرق إدارة السياق التنبؤية الحالية التي تقدم عبئاً زمنياً وتشوّه ذاكرة البادئة المخزنة.