github llama.cpp · منذ 17 ساعة · inference

llama.cpp b11309 يحسّن ALLREDUCE الخاص بـ Hexagon باستخدام وضع scatter الآمن

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11309، والذي يتضمن تحسينًا رئيسيًا لخلفية Hexagon. تضيف هذه التحديث دعم وضع scatter الآمن إلى عملية ALLREDUCE، بهدف تحسين الأداء والاستقرار على أجهزة Qualcomm Snapdragon.

يحسّن ALLREDUCE الخاص بـ Hexagon من خلال إضافة دعم وضع scatter الآمن.
يعيد كتابة تنفيذ hex-allreduce لإزالة انسكابات السجلات.
يقلل التعليقات الزائدة في كود hex-allreduce.
يوفر ملفات قابلة للتنفيذ لأنظمة macOS (Apple Silicon و Intel) و Linux و Windows و Android و openEuler عبر خلفيات CPU و GPU و NPU.

يتيح هذا الإصدار استنتاجًا موزعًا أكثر كفاءة على الأجهزة المحمولة مع NPUs الخاصة بـ Hexagon مع الحفاظ على توافق واسع عبر أنظمة التشغيل الرئيسية لأجهزة سطح المكتب والمحمولة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 1 يوم · 7 مشاهدات

يضيف llama.cpp دعم GLM-5.3-Flash مع إصلاحات k-pool و MTP

أضاف مشروع llama.cpp الدعم الأولي لهندسة نموذج GLM-5.3-Flash (GLM5-Next)، بما في ذلك الانتقال إلى ذاكرة الفهرس الهجين وقدرات التنبؤ متعدد الرموز (MTP) المبكرة.

github llama.cpp · منذ 2 يوم · 4 مشاهدات

يحمّل llama.cpp الإصدار b11266 مصفوفة A من نوع F32 بعنصرين في كل مرة لـ Vulkan على معالجات Intel

أصدر مشروع llama.cpp البناء b11266، الذي يتضمن تحسينًا لـ Vulkan يحمّل مصفوفات A من نوع F32 بعنصرين في كل مرة عندما تكون محاذاة بعامل 2. يعالج هذا التغيير مشكلات الأداء على الأجهزة من Intel حيث يكون تحميل الأعداد العائمة واحدًا تلو الآخر غير كفء، كما يصحح نقص التحقق من صحة محاذاة `a_offset` في التصحيح الأصلي.

github llama.cpp · منذ 2 يوم · مشاهدة واحدة

إصلاح llama.cpp b11265 لاختيار بلاطات matmul MOE في Vulkan

يتضمن إصدار llama.cpp b11265 إصلاحًا لمعالجة نماذج Mixture of Experts (MoE) بواسطة الخلفية الخلفية Vulkan. يصحّج التحديث كيفية اختيار `mat_mul_id` لبلاطات الضرب المصفوفي، مما يعالج مشكلة أداء كانت تترك فيها العمال في حالة خمول أثناء التوجيه.

github llama.cpp · منذ 3 يوم · 4 مشاهدات

يضيف llama.cpp b11238 ggml_pad_ext للحشو الأيسر ويتخطى نقرات DFlash2

أصدر مشروع llama.cpp الإصدار b11238، مقدّماً تنفيذًا موحدًا للحشو الأيسر عبر الدالة الجديدة `ggml_pad_ext`. يجمع هذا التغيير الأساليب السابقة المستخدمة في مشفرات الصوت مثل Parakeet وLFM2-Audio وGranite Speech وGemma 4، مما يضمن تطابق التضمينات بتًا ببت لـ Gemma 4 مع تبسيط دعم الخلفية.

github llama.cpp · منذ 3 يوم · 5 مشاهدات

llama.cpp b11232 يُمكّن الانتباه المضيء المربّع على x86

أصدر مشروع llama.cpp الإصدار b11232، الذي يتضمن تحديثات لخلفية ggml-cpu. يركز هذا الإصدار على تمكين الانتباه المضيء المربّع لأبعاد الرأس غير المضاعفة للمتجه على بنية x86.