एक उपयोगकर्ता ने 50k संदर्भ के साथ 5090 GPU पर llama-perplexity का उपयोग करके bartowski's Qwen3.6-27B मॉडल पर कुंजी-मान (KV) कैश क्वांटीकरण का Kullback-Leibler विचलन (KLD) पर प्रभाव का परीक्षण किया।
- Q8 मॉडल, Q6 और Q5 की तुलना में बेहतर प्रदर्शन करते हैं, जहाँ Q6 और Q5 के बीच प्रदर्शन अंतर, Q8 और Q6 के बीच के अंतर से अधिक है।
- चाहे कुंजी क्वांटीकरण कुछ भी हो, जब मान (v) को q4_0 पर क्वांटाइज़ किया जाता है, तो Q8 और Q6 दोनों में KLD में तेज़ गिरावट आती है।
- मानों के लिए q4_0 का उपयोग करते समय, Q8 और Q6 प्रदर्शन में अभिसरण कर जाते हैं, जिससे Q6 पर (q8_0, q8_0) एक आश्चर्यजनक रूप से प्रभावी समझौता बन जाता है।
- उच्च सटीकता वाले मॉडल की तुलना में Q5 मॉडल मान क्वांटीकरण के लिए अधिक सहिष्णु हैं।
विश्लेषण सुझाव देता है कि यदि VRAM बाधाएं भारी क्वांटीकरण को मजबूर करती हैं, तो Q6 पर पूर्ण सटीकता वाला KV उपयोग करना Q8 के लगभग उतना ही प्रभावी है, जबकि संसाधन अनुमति देने पर अधिकतम कोडिंग सटीकता के लिए Q8 अभी भी पसंदीदा विकल्प बना हुआ है।