Unsloth ने Qwen3.6 मॉडलों के लिए अनुकूलित NVFP4 क्वांटाइज़ेशन जारी किए हैं, जिसने सटीकता में कोई गिरावट के बिना NVIDIA की मानक NVFP4 कार्यान्वयनों की तुलना में महत्वपूर्ण गति सुधार हासिल किए हैं।
- Qwen3.6 27B, NVIDIA के W4A16 दृष्टिकोण की तुलना में W4A4 टेंसर कोर का उपयोग करके 2.5x तेज चलता है।
- Qwen3.6 35B-A3B दो संस्करण प्रदान करता है: NVFP4-Fast (1.79x तेज) और मानक NVFP4 (1.56x तेज)।
- FP8 KV कैश कैलिब्रेशन शामिल है, जो दोगुने लंबे संदर्भों को सक्षम बनाता है।
- MMLU-Pro, GPQA और AIME 2025 पर बेंचमार्क NVIDIA के NVFP4, FP8 और BF16 आधार रेखाओं के मुकाबले तुलनीय या श्रेष्ठ प्रदर्शन दिखाते हैं।
इन अपडेट्स से उपयोगकर्ताओं को प्रतिस्पर्धी सटीकता बनाए रखते हुए उच्च थ्रूपुट और विस्तृत संदर्भ खिड़कियों के साथ Qwen3.6 मॉडल तैनात करने की अनुमति मिलती है।