एक उपयोगकर्ता ने Oculink के माध्यम से RTX Pro 4500 पर नए PrismaQuant विधि द्वारा क्वांटाइज़ किए गए Qwen3.6-27B मॉडल का बेंचमार्क लिया ताकि NVFP4 के पिछले कार्यान्वयनों में मिले टूल कॉल त्रुटियों को हल किया जा सके।
परीक्षण vLLM 0.24 का उपयोग करके PrismaSCOUT (~5.31 बिट, ~20 GB) और PrismaAURA (~5.5 बिट, ~23 GB) की तुलना अन्य क्वांटाइज़ेशन विधियों से करता है।
PrismaQuant प्रत्येक रैखिक परत के लिए इष्टतम प्रारूप का चयन करता है ताकि विशिष्ट बिट गहराई पर मॉडल की क्षमताओं को अधिकतम किया जा सके, हालांकि यह वर्तमान में vLLM में केवल Blackwell आर्किटेक्चर का समर्थन करता है।
KLD परिणाम संकेत देते हैं कि PrismaAURA का BF16 से विचलन (0.0342) PrismaSCOUT (0.055) की तुलना में कम है, जबकि यह उच्च सटीकता और बड़े वजन आकार को बनाए रखता है।