أضاف Spiritbuun ميزة معدل البت المتغير (VBR) إلى شوكة llama.cpp الخاصة به، مما يسمح بتدهور طبقة تكميم ذاكرة التخزين المؤقت KV بشكل ديناميكي مع زيادة طول السياق. يتيح ذلك للمستخدمين تحديد حد أدنى للدقة بينما يضبط الطبقات تلقائيًا لتناسب VRAM المتاحة.
- يستخرج VBR ميزانية VRAM للـ KV من الذاكرة المتبقية عند بدء التشغيل ويدهور الطبقات في الوقت الفعلي مع امتلاء السياق.
- أظهرت الاختبارات على RTX 3060 مع Qwen3.6-35B-A3B أن VBR يحقق تسريعًا في TTFT بنسبة تقترب من الضعف (93 مللي ثانية مقابل 178 مللي ثانية) واستهلاكًا أقل لـ VRAM (10.2 جيجابايت مقابل 11 جيجابايت) مقارنة بـ turbo4 الثابت.
- كان معدل TPS للترميز العكسي أبطأ بنسبة ~4% فقط مع VBR (50.85 مقابل 52.83)، وتمت ملاءمة ميزانية السياق تلقائيًا لـ 216 ألف توكن.
تساعد هذه الميزة المستخدمين على دفع الاستدلال المحلي ضمن VRAM المحدود من خلال دعم السياق الديناميكي دون الحاجة إلى تكوين يدوي للترميز أو طول السياق.