एक विश्वविद्यालय के HPC क्लस्टर ने Qwen 3.6 क्वांटीकरण का बेंचमार्किंग किया, और पाया कि जब ज्ञान स्कोर स्थिर रहते हैं, तो कम-सटीक फॉर्मेट एजेंटिक क्षमताओं को काफी हद तक खराब कर देते हैं।
- GPQA Diamond परिणाम विभिन्न क्वांटीकरण स्तरों के बीच न्यूनतम भिन्नता दिखाते हैं।
- Terminal-Bench 2 स्कोर कम-सटीक क्वांटीकरण में महत्वपूर्ण पश्चगति प्रदर्शित करते हैं।
- परिणाम छोटे टाइमआउट सेटिंग्स (3 घंटे के मुकाबले 10 मिनट से 1 घंटा) के कारण Qwen के आधिकारिक FP8 बेंचमार्क से कम हैं।
- कई रनों ने काफी स्कोर भिन्नता को उजागर किया, जहां एक खराब हाई-सटीक रन एक अच्छे लो-सटीक रन की तुलना में कम प्रदर्शन कर सकता है।
यह निष्कर्ष उपयोगकर्ताओं को एजेंटिक कार्यों बनाम ज्ञान धारण के लिए क्वांटीकरण के व्यापार-बदलों को समझने में मदद करते हैं।