llama.cpp प्रोजेक्ट ने संस्करण b11122 जारी किया है, जिसमें SYCL बैकएंड के लिए महत्वपूर्ण अपडेट शामिल हैं। रिलीज MMVQ GLU फ्यूजन को मिश्रित क्वांटाइज़ेशन प्रकारों का समर्थन करने के लिए विस्तारित करता है और rms_norm+scale और ssm_conv+silu ऑपरेशन्स के लिए नए फ्यूजन पेश करता है।
- SYCL बैकएंड में मिश्रित क्वांटाइज़ेशन प्रकारों को संभालने के लिए MMVQ GLU फ्यूजन को विस्तारित करता है।
- SYCL के लिए rms_norm+scale और ssm_conv+silu फ्यूजन जोड़ता है।
- स्पेसिंग समस्याओं को ठीक करता है और एक मैक्रो को टेम्पलेट फंक्शन में परिवर्तित करता है।
- CUDA, Vulkan, ROCm और OpenVINO सहित CPU, GPU और NPU बैकएंड के लिए macOS, Linux, Windows, Android और openEuler के लिए बाइनरी प्रदान करता है।
यह अपडेट llama.cpp इकोसिस्टम में SYCL-आधारित हार्डवेयर त्वरण के लिए प्रदर्शन और संगतता को बढ़ावा देता है।