llama.cpp प्रोजेक्ट ने संस्करण b9862 जारी किया है, जिसमें gated_delta_net ऑपरेशन के लिए प्रदर्शन अनुकूलन शामिल है और macOS, Linux, Windows, Android, और openEuler के लिए पूर्व-निर्मित बाइनरी प्रदान की गई हैं।
- gated_delta_net -> view -> cpy पैटर्न का पता लगाकर gated_delta_net के बाद अनावश्यक CUDA कॉपी को हटाता है।
- CUDA GDN kernel को पुनरावृत्ति कैश में सीधे स्टेट स्नैपशॉट लिखने की अनुमति देता है, मध्यवर्ती टेल लिखने से बचते हुए।
- इस रिलीज़ में macOS Apple Silicon के लिए KleidiAI समर्थन को अक्षम कर दिया गया है।
- CPU, Vulkan, ROCm 7.2, OpenVINO, और SYCL बैकएंड के साथ Ubuntu x64/arm64/s390x के लिए बाइनरी प्रदान करता है।
- CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, और HIP के लिए Windows बिल्ड शामिल हैं।
यह अपडेट समर्थित GPU आर्किटेक्चर पर इनफ़रेंस दक्षता को बढ़ाता है, जबकि विभिन्न ऑपरेटिंग सिस्टम और हार्डवेयर एक्सेलेरेटर के साथ व्यापक संगतता बनाए रखता है।