llama.cpp प्रोजेक्ट ने संस्करण b9940 जारी किया है, जिसने `llama-bench` में `params.offline` पैरामीटर के लिए एक प्रारंभीकरण पेश किया है। इस अपडेट के साथ कई ऑपरेटिंग सिस्टम और हार्डवेयर एक्सेलेरेटर पर व्यापक पूर्व-निर्मित बाइनरी का सेट भी आया है।
- macOS Apple Silicon (arm64) और Intel (x64) बिल्स उपलब्ध हैं, जिनमें KleidiAI समर्थन अक्षम किया गया है।
- Linux बाइनरी Ubuntu x64 और arm64 CPU, Vulkan, ROCm 7.2, OpenVINO, और SYCL FP32/FP16 को कवर करते हैं।
- Windows रिलीज़ में CPU, OpenCL Adreno, CUDA 12.4/13.3, Vulkan, OpenVINO, SYCL, और HIP वेरिएंट शामिल हैं।
- मोबाइल डिप्लॉयमेंट के लिए Android arm64 (CPU) और iOS XCFramework बाइनरी प्रदान किए गए हैं।
- ACL Graph समर्थन के साथ x86 और aarch64 आर्किटेक्चर के लिए openEuler बिल्स शामिल हैं।
इस रिलीज़ में ऑफ़लाइन पैरामीटर के बेंचमार्किंग के लिए अद्यतन टूलिंग के साथ-साथ स्थानीय मॉडल इनफ़रेंस के लिए व्यापक क्रॉस-प्लेटफ़ॉर्म संगतता प्रदान की गई है।