एक Reddit उपयोगकर्ता ने विभिन्न GGUF क्वांटीकरण स्तरों के साथ FP16 मॉडलों की तुलना करते हुए व्यवस्थित परीक्षण किए, जो समग्र स्कोर का उपयोग करने के बजाय क्षमता के अनुसार प्रदर्शन को तोड़ते हैं। विश्लेषण में गणित (GSM8K), कोड (HumanEval), तर्क (ARC-Challenge) और ज्ञान पुनर्प्राप्ति (MMLU-Pro) शामिल थे।
- 27B मॉडल पर, Q4_K_M ने संवादात्मक कार्यों में 2% से कम क्षरण का कारण बना, लेकिन बहु-चरण गणित की सटीकता को लगभग 9% तक गिरा दिया।
- Q5_K_M ने FP16 की तुलना में गणितीय प्रदर्शन अंतर को प्रभावी ढंग से समाप्त कर दिया।
- लेखक संदर्भ क्षय पर कठोर डेटा की कमी को उजागर करते हैं, यह सवाल उठाते हुए कि क्या क्वांटीकृत मॉडल FP16 की तुलना में तेजी से पुनर्प्राप्ति सटीकता खो देते हैं जैसे-जैसे संदर्भ विंडो भरती जाती है।
पोस्ट तर्क देता है कि जबकि मॉडल चयन पर समुदाय डेटा मौजूद है, विशिष्ट उपयोग मामलों और हार्डवेयर बाधाओं के लिए सही क्वांटीकरण स्तर चुनने के लिए मार्गदर्शन में एक महत्वपूर्ण अंतराल है।