أصدر مشروع llama.cpp الإصدار b9893، مقدمًا تحسينات عامة للأداء لفك تشفير الانتباه السريع (flash attention) على OpenCL. تضيف هذه التحديث نوى فك التشفير المتجهة للانتباه السريع (flash-attention decode) لتنسيقات ذاكرة التخزين المؤقت KV من أنواع f16 و q8_0 و q4_0، وتحسّن نوى ضرب المصفوفات KQ غير المرتبطة بالانتباه السريع.
- يتم تحميل عمليات فك التشفير DK=512 على وحدة المعالجة المركزية (CPU) لأنها مقيدة بعرض النطاق الترددي وأسرع هناك منه على وحدة معالجة الرسومات (GPU) مع زيادة العمق.
- يتم تجميع نوى الانتباه السريع متعدد الاستعلامات (multiquery flash attention kernels) في برنامج أدنى لمنع مترجم Adreno من نفاد الذاكرة عند الأبعاد الأكبر.
- تم تقليل حجم التقسيم الافتراضي لفك التشفير f16-KV من 2048 إلى 512 للاستفادة بشكل أفضل من موارد GPU في أعباء العمل ذات الاستعلام الواحد.
- يعالج إصلاح للتعطل قراءةً خارج النطاق عند عدم تعيين block_n لسيناريوهات فك التشفير DK=512.
يتضمن الإصدار ملفات ثنائية (binaries) لأنظمة macOS و Linux و Android و Windows و openEuler عبر backends المعالجة المركزية (CPU) و CUDA و Vulkan و ROCm وغيرها.