llama.cpp प्रोजेक्ट ने b11272 बिल्ड जारी किया, जिसमें हेक्सगॉन बैकएंड के लिए अनुकूलन शामिल हैं। प्राथमिक बदलाव क्वालकॉम स्नैपड्रैगन हार्डवेयर पर प्रदर्शन में सुधार के लिए कॉन्कैनेशन ऑपरेशन को अनुकूलित करने पर केंद्रित है।

  • गैदर/ट्रांसपोज हॉट लूप में पैकेट कम किए गए, सीधे डेस्टिनेशन बफर में गैदर करके और गैदर सिंक के लिए एक विशेष निर्देश का उपयोग करके।
  • तेज़ गणना के लिए सॉफ़्टवेयर डिवाइज़न कॉल को fastdiv से बदला गया।
  • DMA-HVX पाइपलाइन को अनुकूलित किया गया और हेक्सगॉन कॉन्कैट ऑपरेशन के लिए ट्रांसपोज हेल्पर्स जोड़े गए।

यह अपडेट विभिन्न CPU, GPU, और NPU बैकएंड्स के लिए macOS, Linux, Windows, Android, और openEuler के लिए बाइनरी प्रदान करता है।