github llama.cpp · منذ 4 ساعة · inference

llama.cpp b10995 يجعل ذيل BN/2 لعملية MUL_MAT_ID في Vulkan غير مشروط

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10995، الذي يعدل معالجة عملية MUL_MAT_ID بواسطة الخلفية (backend) الخاصة بـ Vulkan. على وجه التحديد، يجعل التغيير ذيل BN/2 غير مشروط من خلال استخدام BN/2 كقيمة افتراضية لـ BNover2 وكخيار احتياطي معطل لـ BNover4، مع إزالة بوابة التفعيل من هذا الفرع.

يتضمن الإصدار ملفات ثنائية (binaries) لأنظمة macOS (Apple Silicon وIntel)، وiOS، وLinux (CPU، Vulkan، CUDA 12/13، ROCm، OpenVINO، SYCL)، وAndroid، وWindows (CPU، OpenCL، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm)، وopenEuler.

يوفر هذا التحديث للمستخدمين إصدارات محدثة عبر منصات متعددة ومسرعات الأجهزة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

llama.cpp b10989 يمكّن AllReduce لـ ROCm ويوفر ثنائيات متعددة المنصات

أصدر مشروع llama.cpp الإصدار b10989، الذي يقدم دعمًا لتمكين عمليات AllReduce داخل الخلفية (backend) الخاصة بـ ROCm. يُعد هذا التحديث جزءًا من التطوير المستمر لتوسيع توافق الأجهزة وقدرات الحوسبة الموزعة لاستدلال نماذج اللغة الكبيرة.

github llama.cpp · منذ 16 ساعة · مشاهدة واحدة

يضيف llama.cpp b10988 اختيار ضرب مصفوفة خبراء MoE عبر OpenCL للترميز التوقعي

أصدر مشروع llama.cpp الإصدار b10988، مقدمًا تغييرات على الخلفية البرمجية لـ OpenCL خصيصًا لنماذج Mixture of Experts (MoE). تنفذ التحديث منطقًا لاختيار ضرب مصفوفة خبراء MoE بناءً على حجم الدفعة أثناء الترميز التوقعي والتنبؤ متعدد الرموز.

github llama.cpp · منذ 21 ساعة · مشاهدة واحدة

llama.cpp b10984 يضيف دعم CUDA لـ SUM_ROWS المتصل صفياً

أصدر مشروع llama.cpp الإصدار b10984، مقدماً دعم CUDA لعمليات SUM_ROWS المتصلة صفياً. ينظم هذا التحديث أيضاً الكود ليشمل GGML_OP_MEAN لمعالجة الموترات المتصلة صفياً عبر نواة مشتركة.

github llama.cpp · منذ 21 ساعة · مشاهدة واحدة

llama.cpp b10985 يقيّد ذاكرة التخزين المؤقت التجزئة RPC للأوزان

أصدر مشروع llama.cpp الإصدار b10985، الذي يعدّل الخلفية RPC لتقييد التخزين المؤقت القائم على التجزئة حصريًا لأوزان الموترات. يعالج هذا التغيير مشكلة حيث كانت بيانات التنشيط تُجزّأ وتُخزّن دون داعٍ، مما يؤدي إلى استخدام مفرط للقرص.

github llama.cpp · منذ 1 يوم · 4 مشاهدات

إصلاح llama.cpp b10981 للفك المشروط لـ Gemma-4 وتحسين استنتاج GPU MoE

يعالج إصدار llama.cpp b10981 مشكلات صحة حرجة في مسار فك التشفير الشرعي للخلفية OpenVINO، ويصحح بشكل خاص دعم النماذج مثل Gemma-4 التي تستخدم أحجام رؤوس لكل طبقة. كما يقدم تحسينات لاستنتاج GPU Mixture of Experts (MoE) ويحسن الأداء من خلال إعادة ترتيب حالات KV.