نجح مطور في تشغيل نموذج DeepSeek V4 Flash على بطاقة NVIDIA RTX 6000 Pro واحدة من خلال استخدام نسخة مخصصة من vLLM تُسمى vLLM-Moet. تم تحقيق هذا الإنجاز بفضل تقنيات ضغط محددة تتيح للنموذج اللغوي الكبير أن يتسع في ذاكرة VRAM المحدودة للأجهزة الاستهلاكية.
- تتضمن الطريقة ضغط الخبراء الموجهين إلى 2 بت مع الحفاظ على خبراء fp4، مما يسمح بتحميل النموذج بالكامل على بطاقة GPU واحدة.
- يتطلب التحميل الأولي حوالي 150 جيجابايت من الذاكرة العشوائية أو مساحة تبديل موسعة للتعامل مع تقسيم safetensor قبل نقل النموذج إلى VRAM.
- أظهرت نتائج الاختبارات المعيارية على RTX 6000 Pro سرعات توليد رموز تتراوح بين حوالي 100 إلى 134 رمزًا في الثانية اعتمادًا على طول السياق.
- يُذكر أن التقنية تدعم أيضًا GLM 5.2، رغم أن هذا التكوين يتطلب بطاقة RTX 6000 Pro واحدة على الأقل.
تُظهر هذه الإنجاز أن النماذج عالية الأداء مثل DeepSeek V4 Flash يمكن الوصول إليها على بطاقات GPU استهلاكية فردية من خلال تعديلات محرك متخصصة وضغط الخبراء.