एक उपयोगकर्ता ने एजेंटिक वर्कफ़्लो में Qwen3.6-27B को NVIDIA के NVFP4 और आधिकारिक FP8 क्वांटाइजेशन के साथ चलाते समय गंभीर विश्वसनीयता समस्याओं की रिपोर्ट की है, जो BF16 बेलाइन में निर्दोष प्रदर्शन के विपरीत है।
- vLLM 0.24.0 का उपयोग करते हुए RTX PRO 6000 Blackwell GPU पर मॉडल कार्य के बीच में रुकने और विफलता लूप प्रदर्शित करता है।
- पुनरावृत्ति दंड बढ़ाने से लूट टूट नहीं पाते हैं, जिससे मॉडल एक दो अलग-अलग विफलता वाक्यों के बीच बदल जाता है, बजाय एक को दोहराने के।
- NVFP4 क्वांटाइजेशन FP8 की तुलना में काफी अधिक बार क्षरण दिखाता है, जबकि BF16 प्रभावित नहीं रहता है।
लेखक पुष्टि चाहते हैं कि क्या ये समस्याएं सोचने वाले मॉडलों के लिए कम-बिट क्वांटाइजेशन के ज्ञात आर्टिफैक्ट हैं या यदि विशिष्ट vLLM कॉन्फ़िगरेशन समायोजन उन्हें हल कर सकते हैं।