أصدر مشروع llama.cpp الإصدار b10584، معالجةً لمشكلة حرجة حيث لم يتطابق حجم سياق المسودة مع السياق المستهدف، مما تسبب في فشل طلبات الخادم بأخطاء 500.
- يضمن الخادم الآن أن سياق المسودة يتبع حجم السياق المستهدف، مما يمنع فشل فك التشفير عند امتلاء الفتحات بما يتجاوز الحدود السابقة.
- يتم قياس حجز الذاكرة لنموذج المسودة على أكبر سياق يمكن للهدف قبوله، مما يسمح للسياقات التي تشارك الخلايا مع الهدف بالتخلي عن تجاوز kv_size.
- تأخذ دالة fit الآن في الاعتبار نموذجًا ثانيًا اختياريًا، مما يضمن قياس ذاكرته كلما تغير السياق الرئيسي للحفاظ على مسار reduce بدقة.
تقوم هذه التحديث بحل مشكلات الاستقرار في نشرات الخادم من خلال محاذاة أحجام سياق المسودة والهدف بشكل ديناميكي.