يُمدّ إصدار llama.cpp b10255 مسار oneDNN SDPA لدعم مخازن المفاتيح والقيم (KV) غير FP16، بما في ذلك صيغ الكمّ Q4_0–Q8_0 وFP32. يسمح هذا التحديث بتشغيل نواة systolic المدمجة بنفس طريقة المسار الأصلي FP16 من خلال فك الكمّ أو تحويل موترات K/V إلى FP16 كثيف على الجهاز قبل المعالجة.

  • تشمل أنواع KV المدعومة Q4_0، Q4_1، Q5_0، Q5_1، Q8_0، وF32، بينما يتم استبعاد BF16 وأنواع IQ بسبب غياب نوى التحويل.
  • يعتمد دعم غير FP16 على متطلبات أن يكون K >= 1024 وQ >= 32 أثناء مرحلة prefill.
  • يتضمن الإصدار إصلاحاً لمزامنة التدفق يضمن سلوك الانتظار والرمي (wait_and_throw) بشكل مطلق، كما يزيل ازدواجية الاسم V_is_K_view لضمان فك كمّ K وV دائماً إلى مخازن منفصلة.
  • يتم توفير الثنائيات لأنظمة macOS وLinux وWindows وAndroid وopenEuler عبر وحدات المعالجة المركزية، ووحدات معالجة الرسومات (CUDA، Vulkan، ROCm، OpenCL)، والخلفيات المتخصصة مثل SYCL وOpenVINO.