llama.cpp प्रोजेक्ट ने संस्करण b10702 जारी किया, जिसमें AMD की gfx1201 आर्किटेक्चर पर Q2_0 क्वांटीज़ेशन डॉट-प्रोडक्ट पथ के लिए एक विशिष्ट अनुकूलन शामिल है। यह अपडेट HIP कार्यान्वयन को मूल amdgcn प्रतिस्थापन निर्देशों का उपयोग करने के लिए विस्तारित करता है, जिससे इस विशिष्ट हार्डवेयर कॉन्फ़िगरेशन के लिए प्रदर्शन में सुधार होता है।
- gfx1201 के लिए मूल amdgcn प्रतिस्थापन के साथ `vec_dot_q2_0_q8_1` को अनुकूलित करता है।
- HIP के Q2_0 प्रतिस्थापन अनुकूलन को विस्तारित करता है और अनावश्यक उपलब्धता गार्ड्स को हटा देता है।
- मूल प्रतिस्थापन निर्देशों का उपयोग करके HIP Q2_0 MMQ अनपैक को अनुकूलित करता है।
- MMQ टाइल इंडेक्स हैंडलिंग को पुनर्स्थापित करता है और CUDA कोड में HIP प्रीप्रोसेसर गार्ड्स को लेबल करता है।
यह रिलीज़ CPU, GPU (CUDA, ROCm, Vulkan, OpenCL) और OpenVINO और SYCL जैसे विशेष बैकएंड्स के लिए macOS, Linux, Windows, Android और openEuler के लिए बाइनरी प्रदान करती है।