llama.cpp प्रोजेक्ट ने संस्करण b10643 जारी किया, जिसमें मल्टी-NPU डिवाइस (IQ9, IQ10) के लिए सहायता और हेक्सगॉन आर्किटेक्चर के लिए पूर्ण रूप से असिंक्रोनस बैकएंड पेश किया गया।
- हेक्सगॉन बैकएंड अब डिफ़ॉल्ट रूप से नॉन-होस्ट बफर्स का उपयोग करता है और पूर्ण असिंक्रोनिसिटी को लागू करता है।
- स्नैपड्रैगन एंड्रॉइड प्लेटफ़ॉर्म 34 के लिए सहायता जोड़ी गई है।
- Q8_0 क्वांटाइज़ेशन में इनप्लेस डीक्वांटाइज़र्स, DMA पाइलाइन्स और रो ऑपरेशंस के लिए सहायता मिली है।
- ALLREDUCE ऑपरेशंस को फ्यूस्ड kernels और बेहतर DMA दक्षता के साथ अनुकूलित किया गया है।
- सिंक टोकन और फेंस तंत्र को असिंक्रोनस स्प्लिट्स में NPU डिवाइस को सिंक करने के लिए बढ़ाया गया है।
ये परिवर्तन मल्टी-NPU स्नैपड्रैगन हार्डवेयर पर कुशल इनफरेंस सक्षम बनाते हैं, संवहन डिवाइस निष्पादन और तेज़ टेंसर कॉपी की अनुमति देकर।