github llama.cpp · منذ 2 ساعة · inference

إضافة llama.cpp b10982 دعم الانتباه المتقطع السريع عبر Vulkan لنماذج DSV4/GLM

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10982، الذي يُدخل دعم الانتباه المتقطع السريع (sparse Flash Attention) عبر الخلفية (backend) الخاصة بـ Vulkan. يستهدف هذا التحديث بشكل خاص نماذج DSV4 وGLM، مما يتيح لها الاستفادة من آليات الانتباه المتوافق مع عتاد وحدات معالجة الرسومات المناسب.

يضيف دعم الانتباه المتقطع السريع لنماذج DSV4/GLM في تنفيذ Vulkan.
يتضمن منطق تنفيذ مُضبط واختبارات مُضافة.
يُصلح سلوك عملية الجمع الذري غير الحتمي (nondeterministic atomicAdd).
يضيف دعم متجه فك التشفير cm2 وربط f16vec4 لمتجهات فك التشفير.
يبسّط المنطق ويُحسّن اتساق تسمية المتغيرات.

يوفر هذا الإصدار ثنائيات مُعدة مسبقاً لأنظمة macOS وLinux وWindows وAndroid وopenEuler عبر خلفيات CPU وCUDA وROCm وOpenVINO وSYCL وVulkan.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 3 ساعة · مشاهدتان

إصلاح llama.cpp b10981 للفك المشروط لـ Gemma-4 وتحسين استنتاج GPU MoE

يعالج إصدار llama.cpp b10981 مشكلات صحة حرجة في مسار فك التشفير الشرعي للخلفية OpenVINO، ويصحح بشكل خاص دعم النماذج مثل Gemma-4 التي تستخدم أحجام رؤوس لكل طبقة. كما يقدم تحسينات لاستنتاج GPU Mixture of Experts (MoE) ويحسن الأداء من خلال إعادة ترتيب حالات KV.

github llama.cpp · منذ 21 ساعة · 8 مشاهدات

إضافة llama.cpp 0.4.1 دعم لـ Maple 20B-A1B و Tencent Hy 4 و Spark2.5

أصدر مشروع llama.cpp الإصدار 0.4.1، مقدّماً دعمًا لهيكلية Mixture of Experts الثلاثية (ternary) الخاصة بـ Maple 20B-A1B على وحدة المعالجة المركزية (CPU)، بالإضافة إلى دعم تجريبي لنماذج Tencent Hy 4 و Spark2.5.

github llama.cpp · منذ 1 يوم · مشاهدتان

يقوم llama.cpp b10951 بنقل llama_n_rs_seq قبل llama_decode لتجنب المكالمات غير الضرورية

أصدر مشروع llama.cpp الإصدار b10951، والذي يتضمن تحسينًا في الكود ضمن منطق فك التشفير. يتم الآن تنفيذ استدعاء الدالة `llama_n_rs_seq` قبل `llama_decode`، مما يسمح للنظام بالعودة مباشرة إذا نجح الفحص.

github llama.cpp · منذ 3 يوم · 12 مشاهدة

يسمح llama.cpp b10930 بتنزيل النماذج عند حد النموذج

أصدر مشروع llama.cpp الإصدار b10930، والذي يتضمن إصلاحًا لمكون الخادم للسماح بتنزيل النماذج حتى عندما يكون المستخدم قد وصل إلى حد نماذه.

github llama.cpp · منذ 3 يوم · 4 مشاهدات

إصدار llama.cpp b10926 يتعامل بسلاسة مع الكميات tq1_0 غير المدعومة

أطلق مشروع llama.cpp الإصدار b10926، الذي يتضمن إصلاحًا للتعامل مع كميات tq1_0 غير المدعومة عن طريق الفشل بشكل سلس. يعالج هذا التحديث المشكلة #28681 لتحسين الاستقرار عند مواجهة تنسيق الكميات هذا.