एक उपयोगकर्ता NVIDIA RTX 5090 GPU पर NVFP4 क्वांटीज़ेशन फॉर्मेट का उपयोग करके 35B पैरामीटर मॉडल चलाने के लिए सिफारिशों और सहायता की मांग कर रहा है। लक्ष्य में 100k+ टोकन की संदर्भ लंबाई का समर्थन शामिल है, आदर्श रूप से अनसेंसर्ड या विशेषज्ञ मॉडल के साथ।
- AEON-7 Ornith 1.0 35B Uncensored NVFP4 चलाने की पिछली कोशिशें विफल रही, क्योंकि अनुशंसित serve कमांड GDX Spark 128GB हार्डवेयर के लिए अनुकूलित था।
- उपयोगकर्ता ने 35B .gguf मॉडल चलाने में कोई समस्या नहीं होने की रिपोर्ट की है, लेकिन इस विशिष्ट सेटअप के लिए vLLM को सफलतापूर्वक कॉन्फ़िगर करने में असमर्थ रहा है।
पोस्ट में विस्तृत संदर्भ विंडो के साथ उपभोक्ता-ग्रेड RTX 5090 हार्डवेयर पर उच्च-क्षमता वाले NVFP4 मॉडल तैनात करने में वर्तमान चुनौतियों को रेखांकित किया गया है।