llama.cpp परियोजना ने संस्करण b9925 जारी किया है, जिसमें इसके CUDA बैकएंड को एक विशिष्ट अपडेट शामिल है। इस रिलीज़ में f16 से f16 GGML_OP_SET_ROWS ऑपरेशन के लिए समर्थन जोड़ा गया है, जो GPU kernel कवरेज में एक अंतराल को दूर करता है।
- macOS Apple Silicon और Intel के लिए बाइनरी प्रदान की गई हैं, जहाँ Apple Silicon पर KleidiAI स्पष्ट रूप से निष्क्रिय किया गया है।
- Linux बिल्ड CPU (x64, arm64, s390x) और विभिन्न एक्सेलेरेटर को कवर करते हैं, जिसमें Vulkan, ROCm 7.2, OpenVINO, और SYCL FP32/FP16 शामिल हैं।
- Windows रिलीज़ में CPU, OpenCL Adreno, Vulkan, HIP, OpenVINO, SYCL, और CUDA 12/13 वेरिएंट शामिल हैं।
- मोबाइल डिप्लॉयमेंट के लिए Android arm64 (CPU) और iOS XCFramework बाइनरी उपलब्ध हैं।
- openEuler समर्थन आंशिक रूप से निष्क्रिय है, ACL Graph का उपयोग करने वाली x86 और aarch64 आर्किटेक्चर के लिए विशिष्ट बिल्ड को बनाए रखा गया है।
यह अपडेट CUDA डिवाइसों पर अनुपलब्ध set rows ऑपरेशन को सक्षम करके और प्रमुख ऑपरेटिंग सिस्टम और GPU वेंडर्स में पूर्व-कंपाइल किए गए बाइनरी प्रदान करके llama.cpp उपयोगकर्ताओं के लिए व्यापक हार्डवेयर संगतता सुनिश्चित करता है।