github llama.cpp · منذ 2 يوم · inference

يضيف llama.cpp b11238 ggml_pad_ext للحشو الأيسر ويتخطى نقرات DFlash2

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11238، مقدّماً تنفيذًا موحدًا للحشو الأيسر عبر الدالة الجديدة `ggml_pad_ext`. يجمع هذا التغيير الأساليب السابقة المستخدمة في مشفرات الصوت مثل Parakeet وLFM2-Audio وGranite Speech وGemma 4، مما يضمن تطابق التضمينات بتًا ببت لـ Gemma 4 مع تبسيط دعم الخلفية.

تتعامل عقدة `ggml_pad_ext` الآن مع الحشو الأيسر في عملية واحدة نظرًا لدعم جميع الخلفيات لها، مستبدلةً منطق ربط roll أو ملء الصفوف بالصفر المعقّد.
يتضمن التحديث تحسينًا لتخطي نقرات DFlash2 التي تقرأ بيانات الحشو فقط، لأن الحدود عند أو بعد block_size تساوي صفرًا.
تتوفر ثنائيات جاهزة لـ macOS (Apple Silicon وIntel) وiOS وLinux (CPU وVulkan وCUDA 12/13 وROCm وOpenVINO وSYCL وSnapdragon) وAndroid وWindows وopenEuler.

يحسّن هذا الإصدار الاتساق عبر معماريات النماذج المختلفة من خلال توحيد عمليات الحشو، ويقدّم ثنائيات محدّثة لمجموعة واسعة من منصات الأجهزة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 10 ساعة · مشاهدتان

يضيف llama.cpp دعم GLM-5.3-Flash مع إصلاحات k-pool و MTP

أضاف مشروع llama.cpp الدعم الأولي لهندسة نموذج GLM-5.3-Flash (GLM5-Next)، بما في ذلك الانتقال إلى ذاكرة الفهرس الهجين وقدرات التنبؤ متعدد الرموز (MTP) المبكرة.

github llama.cpp · منذ 19 ساعة · مشاهدتان

يحمّل llama.cpp الإصدار b11266 مصفوفة A من نوع F32 بعنصرين في كل مرة لـ Vulkan على معالجات Intel

أصدر مشروع llama.cpp البناء b11266، الذي يتضمن تحسينًا لـ Vulkan يحمّل مصفوفات A من نوع F32 بعنصرين في كل مرة عندما تكون محاذاة بعامل 2. يعالج هذا التغيير مشكلات الأداء على الأجهزة من Intel حيث يكون تحميل الأعداد العائمة واحدًا تلو الآخر غير كفء، كما يصحح نقص التحقق من صحة محاذاة `a_offset` في التصحيح الأصلي.

github llama.cpp · منذ 21 ساعة · مشاهدة واحدة

إصلاح llama.cpp b11265 لاختيار بلاطات matmul MOE في Vulkan

يتضمن إصدار llama.cpp b11265 إصلاحًا لمعالجة نماذج Mixture of Experts (MoE) بواسطة الخلفية الخلفية Vulkan. يصحّج التحديث كيفية اختيار `mat_mul_id` لبلاطات الضرب المصفوفي، مما يعالج مشكلة أداء كانت تترك فيها العمال في حالة خمول أثناء التوجيه.

github llama.cpp · منذ 2 يوم · 5 مشاهدات

llama.cpp b11232 يُمكّن الانتباه المضيء المربّع على x86

أصدر مشروع llama.cpp الإصدار b11232، الذي يتضمن تحديثات لخلفية ggml-cpu. يركز هذا الإصدار على تمكين الانتباه المضيء المربّع لأبعاد الرأس غير المضاعفة للمتجه على بنية x86.

github llama.cpp · منذ 2 يوم · 3 مشاهدات

يضيف llama.cpp b11228 دعم الحشو الأيسر والدائري في GGML_OP_PAD الخاص بـ Metal

تقدم إصدار llama.cpp b1228 دعمًا للحشو الأيسر والدائري في عملية GGML_OP_PAD للخلفية (backend) الخاصة بـ Metal، مما ينسجم مع تطبيقات CPU و CUDA و Vulkan. يصلح هذا التغيير مشكلات الحشو الأيمن للمصادر المعاد ترتيبها ويضمن سلوكًا متسقًا عبر خلفيات الأجهزة المختلفة.