أصدر مشروع llama.cpp الإصدار b10777، الذي يتضمن تحسينات لخلفية SYCL لضرب المصفوفة-المتجه (MMVQ) متعدد الأعمدة باستخدام Q4_K. يركز التحديث على تقليل العمل الحسابي الزائد من خلال استراتيجيات فك ضغط الأوزان وإعادة استخدام التنشيطات.
- يحسن فك ضغط أوزان Q4_K ويعيد استخدام البيانات بين الأعمدة المستهدفة.
- يطبق إعادة استخدام مجموعات فرعية من التنشيطات للقيم الصغيرة لـ N (N=2..4) عبر صفين من المخرجات.
- يحدد نمط إعادة الاستخدام لصفين بشكل خاص لـ N=2 لتحسين الكفاءة.
- يحدث عتبة الرقم السحري إلى Q4_K_MMVQ_ROW_PAIR_MIN_NROWS=6272 ويضيف اختبارات أداء لتغطية MUL_MAT مع Q4_K.
يوفر هذا الإصدار ملفات ثنائية جاهزة للبناء لأنظمة macOS وLinux وAndroid وWindows وopenEuler عبر خلفيات عتادية مختلفة تشمل CPU وCUDA وROCm وVulkan وOpenVINO وSYCL.