एक उपयोगकर्ता ने llama.cpp के माध्यम से 128 GB DDR5 RAM के साथ RTX 4090 पर unsloth की UD-Q2_K_XL क्वांटीज़ेशन का उपयोग करके DeepSeek V4 Flash मॉडल चलाने की रिपोर्ट की है। सेटअप ने प्रति सेकंड 10.9 टोकन की जनरेशन गति हासिल की, जिसे लेखक एजेंटिक कार्यों के लिए उचित मानता है, हालांकि यह Qwen 3.6 27B से धीमा है।
- Intel Core Ultra 7 270k CPU पर भौतिक कोर को पिनिंग करने से इनफरेंस गति को 6.8 से बढ़ाकर 11 tok/s कर दिया गया।
- CUDA बफर ओवरफ्लो को रोकने के लिए flash attention (`-fa off`) को अक्षम करना और संदर्भ क्वांटीज़ेशन को समायोजित करना आवश्यक था।
IQ4_NL क्वांटीज़ेशन वेरिएंट बहुत धीमा (8.1 t/s) था और केवल 10k संदर्भ विंडो तक सीमित था।
लेखक सुझाव देते हैं कि आगे की अनुकूलन के साथ, यह कॉन्फ़िगरेशन 24GB GPUs वाले उपयोगकर्ताओं के लिए Qwen 3.6 27B को प्रतिस्थापित करने में सक्षम हो सकता है।