يسبب خطأ في llama-server تجاهل ذاكرات التخزين المؤقت KV المعاد ترطيبها وإجراء إعادة تعبئة كاملة للسياق في الاستعلام الأول بعد إعادة تشغيل العملية، مما يجعل ميزة الحفظ/الاستعادة عديمة الفائدة. السبب الجذري هو أن بيانات تعريف نقطة التفتيش لم تُحفظ على القرص، مما يمنع الخادم من العودة إلى مواقع ذاكرة التخزين المؤقت الصالحة.
- تحافظ الإصلاحات على بيانات تعريف نقطة التفتيش في ملف جانبى ذو إصدار أثناء حفظ الشق وتعيد تحميلها أثناء الاستعادة.
- يسمح ذلك للخادم بإعادة استخدام الحالات المخزنة للاستجابات المتفرقة بدلاً من إعادة حسابها.
- تظهر النتائج المعيارية تسريعًا بنسبة ~720x لإعادة التعبئة المتفرقة وتسريعًا بنسبة ~167x للاستئناف الشامل مقارنةً بإعادة التعبئة الكاملة.
- يتوفر التصحيح كـ PR #206 في شوكة llama-cpp-turboquant.
يعيد هذا التغيير الوظيفة المقصودة للعمل بسياق طويل على عتاد منخفض التكلفة من خلال ضمان استخدام الحالات المخزنة فعليًا بعد إعادة التشغيل.