github llama.cpp · منذ 12 ساعة · inference

llama.cpp b10989 يمكّن AllReduce لـ ROCm ويوفر ثنائيات متعددة المنصات

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10989، الذي يقدم دعمًا لتمكين عمليات AllReduce داخل الخلفية (backend) الخاصة بـ ROCm. يُعد هذا التحديث جزءًا من التطوير المستمر لتوسيع توافق الأجهزة وقدرات الحوسبة الموزعة لاستدلال نماذج اللغة الكبيرة.

يتضمن الإصدار ثنائيات جاهزة للبناء لأنظمة macOS (شريحة Apple Silicon وIntel)، وLinux (Ubuntu x64، arm64، s390x)، وWindows، وAndroid.
تم توسيع خيارات تسريع وحدات معالجة الرسومات لتشمل CUDA 12.8/13.3، وVulkan، وOpenVINO، وSYCL FP32/FP16، وROCm 10.0 عبر المنصات المدعومة.
تم توفير تجميعات محددة لعمليتي openEuler x86 وaarch64، بما في ذلك دعم ACL Graph على معالجات 910b.
يتوفر أيضًا ثنائي واجهة مستخدم مستقل إلى جانب إصدارات المكتبة الأساسية.

يتيح هذا الإصدار للمستخدمين الاستفادة من وحدات معالجة الرسومات AMD القائمة على ROCm مع وظيفة AllReduce، بينما يوفر ثنائيات محدثة لأنظمة تشغيل متعددة ومسرعات الأجهزة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 4 ساعة · مشاهدة واحدة

llama.cpp b10995 يجعل ذيل BN/2 لعملية MUL_MAT_ID في Vulkan غير مشروط

أصدر مشروع llama.cpp الإصدار b10995، الذي يعدل معالجة عملية MUL_MAT_ID بواسطة الخلفية (backend) الخاصة بـ Vulkan. على وجه التحديد، يجعل التغيير ذيل BN/2 غير مشروط من خلال استخدام BN/2 كقيمة افتراضية لـ BNover2 وكخيار احتياطي معطل لـ BNover4، مع إزالة بوابة التفعيل من هذا الفرع.

github llama.cpp · منذ 16 ساعة · مشاهدة واحدة

يضيف llama.cpp b10988 اختيار ضرب مصفوفة خبراء MoE عبر OpenCL للترميز التوقعي

أصدر مشروع llama.cpp الإصدار b10988، مقدمًا تغييرات على الخلفية البرمجية لـ OpenCL خصيصًا لنماذج Mixture of Experts (MoE). تنفذ التحديث منطقًا لاختيار ضرب مصفوفة خبراء MoE بناءً على حجم الدفعة أثناء الترميز التوقعي والتنبؤ متعدد الرموز.

github llama.cpp · منذ 21 ساعة · مشاهدة واحدة

llama.cpp b10984 يضيف دعم CUDA لـ SUM_ROWS المتصل صفياً

أصدر مشروع llama.cpp الإصدار b10984، مقدماً دعم CUDA لعمليات SUM_ROWS المتصلة صفياً. ينظم هذا التحديث أيضاً الكود ليشمل GGML_OP_MEAN لمعالجة الموترات المتصلة صفياً عبر نواة مشتركة.

github llama.cpp · منذ 21 ساعة · مشاهدة واحدة

llama.cpp b10985 يقيّد ذاكرة التخزين المؤقت التجزئة RPC للأوزان

أصدر مشروع llama.cpp الإصدار b10985، الذي يعدّل الخلفية RPC لتقييد التخزين المؤقت القائم على التجزئة حصريًا لأوزان الموترات. يعالج هذا التغيير مشكلة حيث كانت بيانات التنشيط تُجزّأ وتُخزّن دون داعٍ، مما يؤدي إلى استخدام مفرط للقرص.

github llama.cpp · منذ 1 يوم · 4 مشاهدات

إصلاح llama.cpp b10981 للفك المشروط لـ Gemma-4 وتحسين استنتاج GPU MoE

يعالج إصدار llama.cpp b10981 مشكلات صحة حرجة في مسار فك التشفير الشرعي للخلفية OpenVINO، ويصحح بشكل خاص دعم النماذج مثل Gemma-4 التي تستخدم أحجام رؤوس لكل طبقة. كما يقدم تحسينات لاستنتاج GPU Mixture of Experts (MoE) ويحسن الأداء من خلال إعادة ترتيب حالات KV.