github llama.cpp · منذ 3 يوم · inference

llama.cpp b11214 يُمكّن نواة fattn-mma على CDNA لحجم دفعات كبير

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11214، الذي يتضمن تحديثًا رئيسيًا للخلفية HIP. يُفعّل هذا الإصدار نواة fattn-mma على هياكل CDNA عندما يكون dkq أكبر من 256، ويستهدف بشكل خاص تحسينات الأداء لحجم الدفعات الكبير.

تدعم الخلفية HIP الآن نواة fattn-mma لـ dkq > 256 على عتاد CDNA.
تم تحديث فحوصات CI لـ hip-quality-check لتجاهل التسريبات (spills) للأنوية mfma mma الكبيرة جدًا.
يتم توفير الملفات الثنائية لأنظمة macOS (Apple Silicon و Intel)، Linux (CPU، Vulkan، CUDA، ROCm، OpenVINO، SYCL، Snapdragon)، Windows (CPU، CUDA، Vulkan، OpenVINO، SYCL، ROCm)، Android، و openEuler.

يُتيح هذا التحديث للمستخدمين الذين يشغلون llama.cpp على وحدات GPU من AMD CDNA استخدام أنوية انتباه محسّنة لحجم دفعات أكبر.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 11 ساعة · مشاهدتان

يضيف llama.cpp دعم GLM-5.3-Flash مع إصلاحات k-pool و MTP

أضاف مشروع llama.cpp الدعم الأولي لهندسة نموذج GLM-5.3-Flash (GLM5-Next)، بما في ذلك الانتقال إلى ذاكرة الفهرس الهجين وقدرات التنبؤ متعدد الرموز (MTP) المبكرة.

github llama.cpp · منذ 20 ساعة · مشاهدتان

يحمّل llama.cpp الإصدار b11266 مصفوفة A من نوع F32 بعنصرين في كل مرة لـ Vulkan على معالجات Intel

أصدر مشروع llama.cpp البناء b11266، الذي يتضمن تحسينًا لـ Vulkan يحمّل مصفوفات A من نوع F32 بعنصرين في كل مرة عندما تكون محاذاة بعامل 2. يعالج هذا التغيير مشكلات الأداء على الأجهزة من Intel حيث يكون تحميل الأعداد العائمة واحدًا تلو الآخر غير كفء، كما يصحح نقص التحقق من صحة محاذاة `a_offset` في التصحيح الأصلي.

github llama.cpp · منذ 22 ساعة · مشاهدة واحدة

إصلاح llama.cpp b11265 لاختيار بلاطات matmul MOE في Vulkan

يتضمن إصدار llama.cpp b11265 إصلاحًا لمعالجة نماذج Mixture of Experts (MoE) بواسطة الخلفية الخلفية Vulkan. يصحّج التحديث كيفية اختيار `mat_mul_id` لبلاطات الضرب المصفوفي، مما يعالج مشكلة أداء كانت تترك فيها العمال في حالة خمول أثناء التوجيه.

github llama.cpp · منذ 2 يوم · 4 مشاهدات

يضيف llama.cpp b11238 ggml_pad_ext للحشو الأيسر ويتخطى نقرات DFlash2

أصدر مشروع llama.cpp الإصدار b11238، مقدّماً تنفيذًا موحدًا للحشو الأيسر عبر الدالة الجديدة `ggml_pad_ext`. يجمع هذا التغيير الأساليب السابقة المستخدمة في مشفرات الصوت مثل Parakeet وLFM2-Audio وGranite Speech وGemma 4، مما يضمن تطابق التضمينات بتًا ببت لـ Gemma 4 مع تبسيط دعم الخلفية.

github llama.cpp · منذ 2 يوم · 5 مشاهدات

llama.cpp b11232 يُمكّن الانتباه المضيء المربّع على x86

أصدر مشروع llama.cpp الإصدار b11232، الذي يتضمن تحديثات لخلفية ggml-cpu. يركز هذا الإصدار على تمكين الانتباه المضيء المربّع لأبعاد الرأس غير المضاعفة للمتجه على بنية x86.