github llama.cpp · منذ 1 ساعة · inference

يضيف llama.cpp b11333 دعم bfloat16 لـ WebGPU في عمليات MUL_MAT

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11333، الذي يقدم دعم bfloat16 لعمليات MUL_MAT وMUL_MAT_ID وGET_ROWS داخل واجهة WebGPU الخلفية الخاصة به.

يتم تضمين هذا التحديث في الملفات الثنائية المُعدّة مسبقًا لأنظمة macOS (Apple Silicon وIntel) وiOS وLinux (Ubuntu x64 وarm64 وs390x) وWindows وAndroid وopenEuler. يوفر الإصدار تجميعات لمسرعات الأجهزة المختلفة بما في ذلك CUDA 12 و13 وVulkan وROCm 10.0 وOpenVINO وSYCL وSnapdragon NPUs.

يُتيح إضافة دقة bfloat16 إلى عمليات المصفوفات المحددة هذه في WebGPU حسابًا أكثر كفاءة على وحدات GPU المتوافقة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

يقوم llama.cpp b11335 بتوجيه sm70 إلى جدول Turing MMVQ لأداء Volta

أصدر مشروع llama.cpp الإصدار b11335، الذي يتضمن تحسينًا لـ CUDA لوحات الفيديو Volta. يعيد التحديث توجيه بنية sm_70 إلى جدول nwarps الموجود لـ Turing MMVQ بدلاً من السقوط في التكوين العام.

github llama.cpp · منذ 23 ساعة · 5 مشاهدات

llama.cpp b11309 يحسّن ALLREDUCE الخاص بـ Hexagon باستخدام وضع scatter الآمن

أصدر مشروع llama.cpp الإصدار b11309، والذي يتضمن تحسينًا رئيسيًا لخلفية Hexagon. تضيف هذه التحديث دعم وضع scatter الآمن إلى عملية ALLREDUCE، بهدف تحسين الأداء والاستقرار على أجهزة Qualcomm Snapdragon.

github llama.cpp · منذ 2 يوم · 9 مشاهدات

يضيف llama.cpp دعم GLM-5.3-Flash مع إصلاحات k-pool و MTP

أضاف مشروع llama.cpp الدعم الأولي لهندسة نموذج GLM-5.3-Flash (GLM5-Next)، بما في ذلك الانتقال إلى ذاكرة الفهرس الهجين وقدرات التنبؤ متعدد الرموز (MTP) المبكرة.

github llama.cpp · منذ 2 يوم · 5 مشاهدات

يحمّل llama.cpp الإصدار b11266 مصفوفة A من نوع F32 بعنصرين في كل مرة لـ Vulkan على معالجات Intel

أصدر مشروع llama.cpp البناء b11266، الذي يتضمن تحسينًا لـ Vulkan يحمّل مصفوفات A من نوع F32 بعنصرين في كل مرة عندما تكون محاذاة بعامل 2. يعالج هذا التغيير مشكلات الأداء على الأجهزة من Intel حيث يكون تحميل الأعداد العائمة واحدًا تلو الآخر غير كفء، كما يصحح نقص التحقق من صحة محاذاة `a_offset` في التصحيح الأصلي.

github llama.cpp · منذ 2 يوم · مشاهدتان

إصلاح llama.cpp b11265 لاختيار بلاطات matmul MOE في Vulkan

يتضمن إصدار llama.cpp b11265 إصلاحًا لمعالجة نماذج Mixture of Experts (MoE) بواسطة الخلفية الخلفية Vulkan. يصحّج التحديث كيفية اختيار `mat_mul_id` لبلاطات الضرب المصفوفي، مما يعالج مشكلة أداء كانت تترك فيها العمال في حالة خمول أثناء التوجيه.