يقدم الباحثون ReFold، وهي طبقة عرض لا تحتاج إلى تدريب تحافظ على تاريخ التفاعل مع ضغط سياق العرض الخاص بالنموذج لوكلاء LLM ذوي المدى الطويل. تزيل التكرار بين الأدوار عن طريق استبدال المحتوى المعروض بعلامات مرجعية وطي الأدوار المكتملة التي أبلغ عنها الوكيل في ملاحظات، باستخدام إعادة الكتابة المقطعية للحفاظ على مخازن بادئة الكاش.
- يزيل المحتوى الذي تم عرضه بالفعل في الأدوار السابقة ويطي الأدوار المكتملة التي أبلغ عنها الوكيل في ملاحظات من سطر واحد.
- يستخدم العرض المقطعي لإعادة كتابة البادئة المخزنة مرة واحدة كل بضع خطوات بدلاً من ذلك في كل خطوة.
- يضمن أن جميع عمليات الإزالة قابلة للعكس بشكل صارم، مما يسمح بالاستعادة من التاريخ إذا كانت الإزالة غير صحيحة.
- يقلل استهلاك الرموز (tokens) بنسبة تصل إلى 2.5x ويخفض ذاكرة KV-cache لكل جلسة بمقدار النصف دون تدهور معدلات نجاح المهمة.
- يتجنب ما يصل إلى 92% من عمليات الانضغاض القسري ضمن ميزانيات السياق المحدودة ويقلل تأخيرات طابور الطلبات بنسبة تصل إلى 100%.
يعمل ReFold كحل جاهز للتشغيل عبر أطر عمل نمط ReAct القياسية، مما يسرع الاستدلال (inference) بنسبة تصل إلى 1.7x مع خفض تكاليف الاستدلال بنسبة تصل إلى 3.4x.