github llama.cpp · الآن · inference

إصلاح llama.cpp b10721 لانهيار WebGPU وإضافة دعم CUDA 13.4 لنظام Windows

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10721، والذي يتضمن إصلاحًا حرجًا لخلفية WebGPU ويوسع دعم الأجهزة على نظام Windows.

إصلاح انهيار في تنفيذ `ggml_backend_tensor_get()` الخاص بـ WebGPU عندما لا يكون الإزاحة مضاعفًا للرقم 4.
إضافة دعم استطلاعي لنظام Windows arm64 مع CUDA 13.4.
توفير ملفات ثنائية لأنظمة macOS (Apple Silicon و Intel)، و Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، و Android، و Windows عبر خلفيات مختلفة لـ CPU و GPU.
يضمن هذا الإصدار الاستقرار لمستخدمي WebGPU مع إزاحات ذاكرة غير متوافقة ويمتد التوافق إلى أحدث هياكل CUDA على نظام Windows.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b10718 يوسع دمج MOE ليشمل specdec والرموز المتعددة

أصدر مشروع llama.cpp الإصدار b10718، والذي يتضمن تحديثًا مهمًا لخلفية CUDA. أبرز تغيير هو توسيع دمج Mixture of Experts (MOE) لدعم الترميز التخميني (specdec)، مما يعالج القيود السابقة حيث كان دمج MOE glu و topk-router مقيدًا بمعالجة رمز واحد فقط في كل مرة.

github llama.cpp · منذ 5 ساعة · مشاهدة واحدة

llama.cpp b10715 يدمج مشفر DFlash في حقن ذاكرة التخزين المؤقت KV

أصدر مشروع llama.cpp الإصدار b10715، والذي يتضمن تحسينًا رئيسيًا لتنفيذ DFlash. تم الآن دمج مشفر DFlash مباشرةً في عملية حقن ذاكرة التخزين المؤقت KV أثناء فك التشفير.

github llama.cpp · منذ 6 ساعة · مشاهدة واحدة

يقوم llama.cpp b10714 بضبط صفوف mat-vec في Vulkan لـ Strix Halo

أصدر مشروع llama.cpp الإصدار b10714، الذي يتضمن تحسينات محددة لخلفية Vulkan الموجهة لأجهزة AMD Strix Halo. يعدل التحديث عدد صفوف ضرب المصفوفة بالمتجه لتحسين الأداء أثناء الاستدلال الدفعي.

github llama.cpp · منذ 12 ساعة · 3 مشاهدات

إضافة llama.cpp b10706 دعم SWIGLU_CLAMP وshader Vulkan

أصدر مشروع llama.cpp الإصدار b10706، مقدمًا وظائف جديدة إلى الخلفية ggml. يتضمن هذا التحديث إضافة SWIGLU_CLAMP وتنفيذ shader Vulkan جديد.

github llama.cpp · منذ 13 ساعة · 9 مشاهدات

llama.cpp b10707 يحسّن مسح خلايا ذاكرة التخزين المؤقت KV لتوليد أسرع

أصدر مشروع llama.cpp الإصدار b10707، الذي يتضمن تحسينًا للأداء في معالجة ذاكرة التخزين المؤقت للقيم الرئيسية (KV). يعدّل التحديث الدالة `for_each_token_in` لإيقاف المسح بمجرد رؤية جميع التسلسلات داخل خلية محددة، بدلاً من التكرار عبر جميع التسلسلات القصوى الممكنة.