llama.cpp प्रोजेक्ट ने संस्करण b11460 जारी किया है, जिसने अपने SYCL बैकएंड के भीतर IQ3_S multi-column MMVQ क्वांटीज़ेशन फॉर्मेट के लिए समर्थन पेश किया है। यह अपडेट मान्य CPU और GPU एक्सेलरेशन विकल्पों के साथ नई बिल्ड में शामिल है।
- रिलीज ने pull request #29500 के माध्यम से SYCL कार्यान्वयन में IQ3_S multi-column MMVQ समर्थन जोड़ा है।
- macOS (Apple Silicon और Intel), Linux (x64, arm64, s390x), Windows, Android और openEuler के लिए बाइनरी प्रदान की गई हैं।
- GPU एक्सेलरेशन CUDA 12/13, Vulkan, ROCm 10.0, OpenVINO और OpenCL Adreno के माध्यम से समर्थित प्लेटफ़ॉर्म पर उपलब्ध है।
- Linux और Android पर Snapdragon डिवाइसों के लिए विशिष्ट बिल्ड शामिल हैं, जो CPU, Adreno GPU और Hexagon NPU का समर्थन करते हैं।
यह रिलीज उपयोगकर्ताओं को नवीनतम SYCL अनुकूलनों तक पहुंचने की अनुमति देती है और विभिन्न आर्किटेक्चर पर llama.cpp मॉडल चलाने के लिए हार्डवेयर संगतता को बढ़ावा देती है।