llama.cpp प्रोजेक्ट ने संस्करण b10203 जारी किया है, जिसने SYCL-आधारित मैट्रिक्स गुणा संचालनों में q2_0 क्वांटीज़ेशन फॉर्मेट के लिए समर्थन पेश किया है। यह अपडेट विशिष्ट हार्डवेयर त्वरण परिदृश्यों के लिए लाइब्रेरी की संगतता को बढ़ाता है।

  • PR #26231 के माध्यम से mul_mat में q2_0 के लिए समर्थन जोड़ा गया।
  • SYCL बैकएंड के भीतर अतिरिक्त q2_0 मामलों की कवरेज का विस्तार किया गया।
  • macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) और openEuler के लिए बाइनरी प्रदान किए गए।

रिलीज उपयोगकर्ताओं को SYCL-संगत उपकरणों पर q2_0 क्वांटीज़ेशन का उपयोग करने की अनुमति देती है, जो दक्ष मॉडल इनफरेंस के लिए समर्थित हार्डवेयर कॉन्फ़िगरेशन की श्रृंखला को चौड़ा करती है।