github llama.cpp · منذ 12 ساعة · inference

إضافة llama.cpp b10706 دعم SWIGLU_CLAMP وshader Vulkan

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10706، مقدمًا وظائف جديدة إلى الخلفية ggml. يتضمن هذا التحديث إضافة SWIGLU_CLAMP وتنفيذ shader Vulkan جديد.

ggml: إضافة SWIGLU_CLAMP
إضافة shader vulkan

يوفر هذا الإصدار ثنائيات جاهزة لـ macOS وLinux وWindows وAndroid وopenEuler عبر خلفيات عتادية مختلفة تشمل CPU وCUDA وROCm وOpenVINO وSYCL وOpenCL.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

إصلاح llama.cpp b10721 لانهيار WebGPU وإضافة دعم CUDA 13.4 لنظام Windows

أصدر مشروع llama.cpp الإصدار b10721، والذي يتضمن إصلاحًا حرجًا لخلفية WebGPU ويوسع دعم الأجهزة على نظام Windows.

github llama.cpp · منذ 2 ساعة

llama.cpp b10718 يوسع دمج MOE ليشمل specdec والرموز المتعددة

أصدر مشروع llama.cpp الإصدار b10718، والذي يتضمن تحديثًا مهمًا لخلفية CUDA. أبرز تغيير هو توسيع دمج Mixture of Experts (MOE) لدعم الترميز التخميني (specdec)، مما يعالج القيود السابقة حيث كان دمج MOE glu و topk-router مقيدًا بمعالجة رمز واحد فقط في كل مرة.

github llama.cpp · منذ 5 ساعة · مشاهدة واحدة

llama.cpp b10715 يدمج مشفر DFlash في حقن ذاكرة التخزين المؤقت KV

أصدر مشروع llama.cpp الإصدار b10715، والذي يتضمن تحسينًا رئيسيًا لتنفيذ DFlash. تم الآن دمج مشفر DFlash مباشرةً في عملية حقن ذاكرة التخزين المؤقت KV أثناء فك التشفير.

github llama.cpp · منذ 6 ساعة · مشاهدة واحدة

يقوم llama.cpp b10714 بضبط صفوف mat-vec في Vulkan لـ Strix Halo

أصدر مشروع llama.cpp الإصدار b10714، الذي يتضمن تحسينات محددة لخلفية Vulkan الموجهة لأجهزة AMD Strix Halo. يعدل التحديث عدد صفوف ضرب المصفوفة بالمتجه لتحسين الأداء أثناء الاستدلال الدفعي.

github llama.cpp · منذ 13 ساعة · 9 مشاهدات

llama.cpp b10707 يحسّن مسح خلايا ذاكرة التخزين المؤقت KV لتوليد أسرع

أصدر مشروع llama.cpp الإصدار b10707، الذي يتضمن تحسينًا للأداء في معالجة ذاكرة التخزين المؤقت للقيم الرئيسية (KV). يعدّل التحديث الدالة `for_each_token_in` لإيقاف المسح بمجرد رؤية جميع التسلسلات داخل خلية محددة، بدلاً من التكرار عبر جميع التسلسلات القصوى الممكنة.