llama.cpp प्रोजेक्ट ने संस्करण b10067 जारी किया, जिसमें `llama-quantize` टूल के लिए एक ठीक शामिल है जो DeepSeek-V4 मॉडलों को सही ढंग से संभालता है। अपडेट क्वांटीज़र को `ffn_gate_tid2eid` टेन्सर को float प्रकार में बदलने की कोशिश करने से रोकता है, जो एक i32 टोकन-टू-एक्सपर्ट इंडेक्स टेबल है।
- कन्वर्जन विफलताओं से बचने के लिए `ffn_gate_tid2eid` रूटिंग टेबल को क्वांटीकरण से बाहर रखता है।
- टेन्सर को `ffn_gate_inp.weight` के साथ नाम-आधारित एक्सक्लूजन सूची में जोड़ता है।
- समस्या #25754 को हल करता है जहां क्वांटीकरण पहले DeepSeek-V4 मॉडलों पर विफल हो जाता था।
यह बदलाव उपयोगकर्ताओं को DeepSeek-V4 मॉडलों को सफलतापूर्वक क्वांटाइज़ करने की अनुमति देता है, बिना integer-to-float प्रकार रूपांतरण से जुड़ी त्रुटियों के सामने आए।