يطلب مستخدم مساعدة في تحسين تكوين ذاكرة التخزين المؤقت KV في llama-server للتخفيف من أوقات التعبئة المسبقة الطويلة عند تشغيل نماذج كبيرة مثل Qwen 3.5 122B على نظام Strix Halo.
- قام المستخدم بتكوين --cache-ram 16384 و --ctx-checkpoints 72 و --checkpoint-min-step 4096 لإدارة ذاكرة الفيديو (VRAM) ونوافذ السياق.
- يؤدي فقدان كامل للذاكرة المؤقتة عند سياق بحجم 100k إلى حوالي 10-20 دقيقة من وقت التعبئة المسبقة، وهو ما يُعتبر مشكلة بالغة الخطورة.
- تفقد نقاط التفتيش أحيانًا بعد مطالبات المستخدم، خاصة مع سير العمل الوكيل مثل Crush coding agent أو Codex.
- يبدو أن نقاط التفتيش القديمة تختفي مع مرور الوقت، تاركةً فقط بضع نقاط تفتيش سياق نشطة وتسبب إعادة المعالجة عند الفقدان الأكبر.
- يفكر المستخدم في كميّة K/V (على سبيل المثال، q8) لزيادة عدد نقاط التفتيش المتاحة بشكل مزدوج تقريبًا لكنه يتساءل عن تأثيرها على الجودة للنماذج الموجودة بالفعل في q4.
يأمل المستخدم في الحصول على مدخلات من المجتمع حول ضبط إعدادات الذاكرة المؤقتة وحل مشكلات فقدان نقاط التفتيش لتحسين الأداء أثناء التكرارات السريعة للوكلاء.