أصدر مشروع llama.cpp الإصدار b10757، والذي يتضمن تحسينًا محددًا لخلفية Vulkan. يعالج هذا التحديث أحجام الدفعات الأكبر من 4 بكفاءة لعملية ضرب المصفوفة-المتجه IQ3_S عندما يكون NUM_COLS أكبر من 4.

  • يحقق تحسنًا في الأداء بمقدار 5 أضعاف عند n=8 لتكوين mat-vec IQ3_S المحدد لـ Vulkan.
  • يضيف حالتين لكل نوع تكميم عند k=16*256 إلى مسح mat-vec all_types.
  • يوفر ملفات قابلة للتنفيذ لأنظمة macOS (Apple Silicon و Intel)، و Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، و Android، و Windows (CPU، CUDA 12/13، OpenCL، Vulkan، OpenVINO، SYCL، ROCm)، و openEuler.

يتيح هذا الإصدار للمستخدمين تشغيل llama.cpp على مجموعة واسعة من المنصات الأجهزة مع تحسينات Vulkan المحدثة لأنواع التكميم المحددة.