github llama.cpp · منذ 5 ساعة · inference

llama.cpp b10715 يدمج مشفر DFlash في حقن ذاكرة التخزين المؤقت KV

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10715، والذي يتضمن تحسينًا رئيسيًا لتنفيذ DFlash. تم الآن دمج مشفر DFlash مباشرةً في عملية حقن ذاكرة التخزين المؤقت KV أثناء فك التشفير.

في السابق، كان تشغيل المشفر كاستدعاء منفصل `llama_encode` يفرض رحلة ذهاب وإياب من الجهاز إلى المضيف لإخراجها قبل أن يتمكن فك التشفير بالحقن من إعادة تحميله، بالإضافة إلى بناء رسم بياني ثانٍ لكل جولة. يدمج هذا التغيير المشفر في فرع تضمين المفك، مما يسمح بتغذية السمات المستهدفة مباشرةً في استدعاء واحد `llama_decode`.

يوفر الإصدار ملفات ثنائية لنظام macOS (Apple Silicon و Intel)، و iOS، و Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، و Android، و Windows (CPU، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm)، و openEuler.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

مقالات ذات صلة

github llama.cpp · الآن · مشاهدة واحدة مباشر

إصلاح llama.cpp b10721 لانهيار WebGPU وإضافة دعم CUDA 13.4 لنظام Windows

أصدر مشروع llama.cpp الإصدار b10721، والذي يتضمن إصلاحًا حرجًا لخلفية WebGPU ويوسع دعم الأجهزة على نظام Windows.

github llama.cpp · منذ 2 ساعة

llama.cpp b10718 يوسع دمج MOE ليشمل specdec والرموز المتعددة

أصدر مشروع llama.cpp الإصدار b10718، والذي يتضمن تحديثًا مهمًا لخلفية CUDA. أبرز تغيير هو توسيع دمج Mixture of Experts (MOE) لدعم الترميز التخميني (specdec)، مما يعالج القيود السابقة حيث كان دمج MOE glu و topk-router مقيدًا بمعالجة رمز واحد فقط في كل مرة.

github llama.cpp · منذ 7 ساعة · مشاهدة واحدة

يقوم llama.cpp b10714 بضبط صفوف mat-vec في Vulkan لـ Strix Halo

أصدر مشروع llama.cpp الإصدار b10714، الذي يتضمن تحسينات محددة لخلفية Vulkan الموجهة لأجهزة AMD Strix Halo. يعدل التحديث عدد صفوف ضرب المصفوفة بالمتجه لتحسين الأداء أثناء الاستدلال الدفعي.

github llama.cpp · منذ 13 ساعة · 3 مشاهدات

إضافة llama.cpp b10706 دعم SWIGLU_CLAMP وshader Vulkan

أصدر مشروع llama.cpp الإصدار b10706، مقدمًا وظائف جديدة إلى الخلفية ggml. يتضمن هذا التحديث إضافة SWIGLU_CLAMP وتنفيذ shader Vulkan جديد.

github llama.cpp · منذ 13 ساعة · 9 مشاهدات

llama.cpp b10707 يحسّن مسح خلايا ذاكرة التخزين المؤقت KV لتوليد أسرع

أصدر مشروع llama.cpp الإصدار b10707، الذي يتضمن تحسينًا للأداء في معالجة ذاكرة التخزين المؤقت للقيم الرئيسية (KV). يعدّل التحديث الدالة `for_each_token_in` لإيقاف المسح بمجرد رؤية جميع التسلسلات داخل خلية محددة، بدلاً من التكرار عبر جميع التسلسلات القصوى الممكنة.