github llama.cpp · منذ 1 ساعة · inference

يضيف llama.cpp b10207 دعم SYCL للأنواع المفقودة في cpy

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10207، الذي يتضمن طلب سحب لإضافة دعم SYCL لأنواع البيانات التي لم تكن مدعومة سابقًا في عملية cpy.

يعالج التحديث دعم الأنواع المفقود ضمن وظيفة cpy عبر طلب السحب #26005.
يتم توفير التوزيعات الثنائية لنظام macOS (Apple Silicon وIntel)، وLinux (CPU، Vulkan، ROCm 7.2، OpenVINO، SYCL FP32/FP16)، وWindows (CPU، CUDA 12/13، Vulkan، OpenVINO، SYCL، HIP)، وAndroid، وopenEuler.
دعم macOS Apple Silicon مع KleidiAI معطل حاليًا في هذا الإصدار.

يوسع هذا الإصدار توافق الأجهزة لـ llama.cpp من خلال تمكين تنفيذ SYCL على أنواع بيانات إضافية.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

llama.cpp b10206 يفرض نفس أنواع ذاكرة التخزين المؤقت K و V لنماذج DeepSeek V4 و MLA

أطلق مشروع llama.cpp الإصدار b10206، الذي يقدم تغييرات محددة في كيفية معالجة ذاكرتي التخزين المؤقت للقيم والمفاتيح في آليات الانتباه. يضمن التحديث بقاء أنواع ذاكرة التخزين المؤقت K و V متسقة لنماذج DeepSeek V4.

github llama.cpp · منذ 5 ساعة

إصدار llama.cpp b10202 مع دمج SYCL RMS_NORM

أطلق مشروع llama.cpp الإصدار b10202، مقدمًا تحسينًا لـ SYCL يدمج عمليات RMS_NORM و MUL.

github llama.cpp · منذ 7 ساعة · مشاهدة واحدة

llama.cpp b10201 يحسّن flash attention للـ KV المُكمّم في السياقات الطويلة

أصدر مشروع llama.cpp الإصدار b10201، والذي يتضمن تحسينًا رئيسيًا لخلفية ggml-webgpu. يعزز هذا التحديث أداء flash attention عند التعامل مع ذاكرة التخزين المؤقت للمفتاح والقيمة المُكمّمة أثناء توليد السياق الطويل.

github llama.cpp · منذ 21 ساعة · مشاهدة واحدة

llama.cpp b10198 يضيف دعم Vulkan للدمج الكمي

أصدر مشروع llama.cpp الإصدار b10198، الذي يقدم دعمًا لعمليات الدمج الكمي داخل الخلفية البرمجية Vulkan.

github llama.cpp · منذ 2 يوم · مشاهدة واحدة

llama.cpp b10180 يضيف مسارًا سريعًا متجاورًا ورياضيات فهرس 32 بت لعمليات SYCL الأحادية

أصدر مشروع llama.cpp الإصدار b10180، مقدمًا تحسينات للأداء لخلفية SYCL. تنفذ التحديث مسارًا سريعًا متجاورًا ويحول حساب فهرس العنصر عن طريق العنصر لاستخدام fastdiv مع أعداد صحيحة 32 بت.