एक उपयोगकर्ता की रिपोर्ट है कि केवल CPU वाले सिस्टम पर MXFP4 फॉर्मेट में Bartowski क्वांटाइज्ड DeepSeek-V4-Flash मॉडल चलाने पर निराशाजनक प्रदर्शन मिल रहा है। 512GB DDR4 मेमोरी होने के बावजूद, सेटअप ने केवल 3.2 टोकन प्रति सेकंड हासिल किया।
- उपयोगकर्ता ने GTX 1060 को ऑफलोडिंग के लिए उपयोग करते हुए E5-2699v4 प्रोसेसर पर कॉन्फ़िगरेशन का परीक्षण किया।
- प्रदर्शन की तुलना GLM 5.2 (Q4_K_XL में 40B सक्रिय पैरामीटर) से की गई, जो 1.8 t/s पर चला।
- उपयोगकर्ता को शक है कि MXFP4 फॉर्मेट बाटलनेक का कारण बन रहा है, जिसकी प्रभावी मेमोरी बैंडविड्थ लगभग 20GB/s अनुमानित है।
पोस्ट CPU इनफरेंस के लिए विशिष्ट क्वांटीज़ेशन फॉर्मेट्स में संभावित दक्षता समस्याओं को उजागर करती है और वैकल्पिक Q4 क्वांटीज़ेशन की तलाश करती है।