llama.cpp प्रोजेक्ट ने संस्करण b11070 जारी किया, जिसमें 64-बिट मेमोरी मैपिंग और विस्तारित बफर हैंडलिंग का समर्थन करने के लिए हेक्सागॉन बैकएंड में एक महत्वपूर्ण बदलाव शामिल है। यह अपडेट क्वालकॉम हेक्सागॉन DSPs पर बड़े मॉडलों और जटिल ऑपरेशन्स के लिए उचित DMA (डायरेक्ट मेमोरी एक्सेस) समर्थन सक्षम बनाता है।
- `hex-dma64` मॉड्यूल के माध्यम से विस्तारित बफर मैपिंग और 64-बिट DMA सक्षम किया गया।
- अधिक DMA परिदृश्यों का समर्थन करने के लिए बाइनरी ऑपरेशन्स को विस्तारित किया और SSM_CONV को 64-बिट समर्थन के साथ DMA का उपयोग करने के लिए अपडेट किया।
- बड़े मॉडलों में एविकशन से बचने के लिए मेमोरी मैपिंग (mmaps) की संख्या बढ़ाकर 64 कर दी गई।
- HVX रजिस्टर उपयोग को बेहतर बनाने के लिए सॉफ्टमैक्स और GDN लूपों को पुनः लिखा गया ताकि वे DMA का उपयोग कर सकें।
- बहुत बड़े DMA लेनदेन के लिए एक फॉलबैक के रूप में एक द्वितीयक रिंग जोड़ी गई।
इस रिलीज़ में CPU, GPU (CUDA, Vulkan, ROCm), और NPU बैकएंड्स पर macOS, Linux, Windows, Android, और openEuler के लिए बाइनरी शामिल हैं।