اختبر مستخدم تأثير كميّة ذاكرة التخزين المؤقت للمفتاح والقيمة (KV) على تباعد كولباك-ليبلر (KLD) لنموذج bartowski Qwen3.6-27B باستخدام llama-perplexity على GPU 5090 مع سياق يتكون من 50k.
- تتفوق نماذج Q8 على نماذج Q6 وQ5، مع وجود فجوة أداء أوسع بين Q6 وQ5 مقارنة بالفجوة بين Q8 وQ6.
- تعاني كل من Q8 وQ6 من انخفاضات حادة في KLD عندما يتم كميّة القيمة (v) إلى q4_0، بغض النظر عن كميّة المفتاح.
- عند استخدام q4_0 للقيم، تتقارب Q8 وQ6 في الأداء، مما يجعل (q8_0, q8_0) على Q6 تنازلاً فعالاً بشكل مفاجئ.
- نماذج Q5 أكثر تسامحًا مع كميّة القيمة مقارنة بالنماذج ذات الدقة الأعلى.
تشير التحليلات إلى أنه إذا فرضت قيود VRAM كميّة ثقيلة، فإن استخدام KV بدقة كاملة على Q8 يكون فعالاً تقريبًا مثل Q6، بينما يظل Q8 الخيار المفضل لأقصى دقة في البرمجة عندما تسمح الموارد بذلك.