llama.cpp प्रोजेक्ट ने संस्करण b9844 जारी किया है, जो NVFP4 क्वांटाइज़ेशन फॉर्मेट के लिए ggml-webgpu सपोर्ट पेश करता है। इस अपडेट में विभिन्न हार्डवेयर बैकएंड्स पर macOS, iOS, Linux, Android, Windows और openEuler के लिए पूर्व-निर्मित बाइनरी भी उपलब्ध कराई गई हैं।
- पुल अनुरोध #25143 के माध्यम से ggml-webgpu में NVFP4 सपोर्ट जोड़ा गया।
- इस रिलीज में macOS Apple Silicon और openEuler के लिए KleidiAI बिल्ड्स को अक्षम कर दिया गया।
- Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) और Android arm64 के लिए बाइनरी प्रदान की गईं।
- macOS Apple Silicon (arm64 और x64) बाइनरी के साथ एक iOS XCFramework जारी किया गया।
- सामान्य उपयोग के लिए UI बाइनरी शामिल की गईं।
इस रिलीज से डेवलपर्स WebGPU डिवाइसेस पर NVFP4 क्वांटाइज़ेशन का उपयोग कर सकते हैं, साथ ही विभिन्न ऑपरेटिंग सिस्टम और GPU आर्किटेक्चर के लिए अपडेट किए गए पूर्व-निर्मित एक्जीक्यूटेबल्स भी उपलब्ध हैं।