एक डेवलपर ने vLLM-Moet नामक vLLM के अनुकूलित संस्करण का उपयोग करते हुए NVIDIA RTX 6000 Pro GPU पर सफलतापूर्वक DeepSeek V4 Flash मॉडल चलाया है। यह उपलब्धि विशिष्ट कंप्रेशन तकनीकों के माध्यम से संभव हुई है जो बड़े भाषा मॉडल को उपभोक्ता-ग्रेड हार्डवेयर की सीमित VRAM में फिट होने देती हैं।
- विधि में fp4 विशेषज्ञों को बनाए रखते हुए रूटेड एक्सपर्ट्स को 2-बिट तक कंप्रेस करना शामिल है, जिससे मॉडल पूरी तरह से एकल GPU पर लोड हो सकता है।
- प्रारंभिक लोडिंग के लिए safetensor शार्डिंग को संभालने और मॉडल को VRAM में स्थानांतरित करने से पहले लगभग 150 GB RAM या विस्तृत स्वैप स्पेस की आवश्यकता होती है।
- RTX 6000 Pro पर बेंचमार्क संदर्भ लंबाई के आधार पर प्रति सेकंड लगभग 100 से 134 टोकन की टोकन जनरेशन गति दिखाते हैं।
- यह तकनीक GLM 5.2 को भी समर्थित करने का दावा करती है, हालांकि उस विन्यास के लिए कम से कम दो RTX 6000 Pro GPUs की आवश्यकता होती है।
यह उपलब्धि दिखाती है कि DeepSeek V4 Flash जैसे उच्च-प्रदर्शन मॉडल विशेष इंजन संशोधनों और एक्सपर्ट कंप्रेशन के माध्यम से एकल उपभोक्ता GPUs पर सुलभ हो सकते हैं।