نجح مستخدم في نقل طريقة تكميم ذاكرة التخزين المؤقت KV المهيكلة KVarN إلى وقت تشغيل Bonsai الخاص بـ PrismML، مما مكن نموذج Bonsai-Ternary-27B من العمل بكفاءة على الأجهزة ذات الذاكرة المحدودة.
- أدى التنفيذ إلى زيادة سرعة التوليد بنسبة 68% (من 43 tok/s إلى 73 tok/s) وتقليل استخدام VRAM بمقدار 3.3 جيجابايت عند سياق 120K.
- انخفض استهلاك VRAM الإجمالي من حوالي 13.1 جيجابايت إلى 9.8 جيجابايت، مما سمح للنموذج بالاحتواء بسهولة تحت 10 جيجابايت.
- تطبق KVarN تحويل Walsh-Hadamard وموازنة تباين Sinkhorn قبل التكميم للحفاظ على الجودة بشكل أفضل من طرق التكميم المسطحة.
- يُشار إلى أن هذه الطريقة أكثر واعدة لحالات الاستخدام التي تعتمد على الاحتفاظ بالمعلومات مقارنة بـ TurboQuant، رغم أنها تكسر توافق DFlash.
يتيح هذا النهج للمستخدمين الذين يشغلون نماذج كثيفة بأطوال سياق طويلة احتواءها ضمن قيود VRAM أقل دون فقدان كبير في الدقة.