llama.cpp प्रोजेक्ट ने बिल्ड b10232 जारी किया, जिसमें Metal बैकएंड के माध्यम से DeepSeek V4 हाइपर-कनेक्शन का समर्थन पेश किया गया है। इस अपडेट में GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE और GGML_OP_DSV4_HC_POST ऑपरेशन की कार्यान्वयन जोड़ा गया है।
- नए kernels SIMDgroup रजिस्टर और शफल अनुकूलन का उपयोग करते हैं।
- उत्पादन Sinkhorn पुनरावृत्ति गणनाओं और एम्बेडिंग चौड़ाई का समर्थन करने के लिए Metal डिस्पैच प्लंबिंग जोड़ी गई है।
- CPU, CUDA, ROCm, Vulkan और OpenVINO सहित विभिन्न हार्डवेयर बैकएंड पर macOS (Apple Silicon और Intel), iOS, Linux, Windows, Android और openEuler के लिए पूर्व-निर्मित बाइनरी उपलब्ध हैं।
यह रिलीज Metal फ्रेमवर्क का उपयोग करके Apple Silicon डिवाइसों पर DeepSeek V4 मॉडल का कुशलतापूर्वक इनफरेंस सक्षम बनाती है।