أصدر مشروع llama.cpp الإصدار b10758، مقدمًا قدرات دمج MUL_MAT و MUL_MAT_ID لمعالج DSP الخاص بـ Hexagon. يتضمن هذا التحديث أيضًا عدة إصلاحات لتحسين الاستقرار والأداء على عتاد Qualcomm.
- يدمج عمليات ضرب المصفوفات QKV و FFN التي تصل إلى HMX.
- يزيل القيود الثابتة ne[1] < 32K.
- يصحح حجم النفقات العامة لمنع تجاوز ميزانية vtcm للأبعاد الكبيرة.
- يدمج MUL_MAT_ID في متغيرات MUL_MAT_ID_NX حيثما أمكن ذلك.
- يحدث أحجام opbatch و opqueue لتقليل نفقات تخصيص مخزن التتبع.
- يضيف إزالة تجزئة مساحة العنوان الافتراضية لتجنب الإنهاء بسبب التجزئة.
تحسن هذه التغييرات استخدام الذاكرة وكفاءة التنفيذ للأجهزة القائمة على Hexagon.