llama.cpp प्रोजेक्ट ने बिल्ड b10758 जारी किया, जिसमें Hexagon DSP के लिए MUL_MAT और MUL_MAT_ID फ्यूशन क्षमताएं पेश की गई हैं। इस अपडेट में Qualcomm हार्डवेयर पर स्थिरता और प्रदर्शन को बेहतर बनाने के लिए कई ठीक करने भी शामिल हैं।
- HMX पर आने वाले QKV और FFN matmuls को फ्यूज करता है।
- हार्डकोडेड ne[1] < 32K प्रतिबंध को हटाता है।
- बड़ी आयामों के लिए vtcm बजट से अधिक न होने के लिए ओवरहेड साइज़िंग को ठीक करता है।
- जहाँ संभव हो, MUL_MAT_ID को MUL_MAT_ID_NX वेरिएंट्स में फ्यूज करता है।
- ट्रेस बफ़र आवंटन ओवरहेड कम करने के लिए opbatch और opqueue साइज़िंग को अपडेट करता है।
- विखंडन के कारण अलर्ट से बचने के लिए वर्चुअल एड्रेस स्पेस डिफ्रैग्मेंटेशन जोड़ता है।
ये परिवर्तन Hexagon-आधारित उपकरणों के लिए मेमोरी उपयोग और निष्पादन दक्षता को अनुकूलित करते हैं।