github llama.cpp · منذ 3 يوم · inference

يضيف llama.cpp b11216 نوى FWHT لـ SYCL لعرض كتل يتجاوز 512

مُترجم من English → العربية

تطلق نسخة llama.cpp b11216 نوى تحويل والاش-هادامارد السريع (FWHT) في الخلفية SYCL التي تدعم عرض كتل أكبر من 512. سابقاً، كانت العرضات الأكبر تتراجع إلى ضرب مصفوفات كثيف GEMM بتعقيد O(n^2)؛ وتمكّن هذه التغييرات أداءً بسرعة O(n log n) لهذه الأحجام.

تعمل التنفيذ `fwht_kernel_wide` الجديد على تشغيل صف واحد لكل مجموعة عمل وتستخدم الذاكرة المحلية والسجلات لتحسين عمليات الفراشة.
يدعم عرض كتل 1024، و2048، و4096، و8192 عبر بناء كرونكر/بايلي.
تتضمن النسخة ثنائيات لأنظمة macOS، وLinux، وWindows، وAndroid، وopenEuler عبر خلفيات CPU، وGPU، وNPU.
تم التحقق باستخدام أداة اختبار مستقلة على جهاز Intel oneAPI DPC++ 2026.1 SYCL CPU، مؤكدةً الصحة مقابل تنفيذ مرجعي.

يُحسّن هذا التحديث الكفاءة الحسابية لأحجام الكتل الكبيرة في بيئات SYCL مع الحفاظ على التوافق مع تكوينات الأجهزة الحالية.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 11 ساعة · مشاهدتان

يضيف llama.cpp دعم GLM-5.3-Flash مع إصلاحات k-pool و MTP

أضاف مشروع llama.cpp الدعم الأولي لهندسة نموذج GLM-5.3-Flash (GLM5-Next)، بما في ذلك الانتقال إلى ذاكرة الفهرس الهجين وقدرات التنبؤ متعدد الرموز (MTP) المبكرة.

github llama.cpp · منذ 20 ساعة · مشاهدتان

يحمّل llama.cpp الإصدار b11266 مصفوفة A من نوع F32 بعنصرين في كل مرة لـ Vulkan على معالجات Intel

أصدر مشروع llama.cpp البناء b11266، الذي يتضمن تحسينًا لـ Vulkan يحمّل مصفوفات A من نوع F32 بعنصرين في كل مرة عندما تكون محاذاة بعامل 2. يعالج هذا التغيير مشكلات الأداء على الأجهزة من Intel حيث يكون تحميل الأعداد العائمة واحدًا تلو الآخر غير كفء، كما يصحح نقص التحقق من صحة محاذاة `a_offset` في التصحيح الأصلي.

github llama.cpp · منذ 22 ساعة · مشاهدة واحدة

إصلاح llama.cpp b11265 لاختيار بلاطات matmul MOE في Vulkan

يتضمن إصدار llama.cpp b11265 إصلاحًا لمعالجة نماذج Mixture of Experts (MoE) بواسطة الخلفية الخلفية Vulkan. يصحّج التحديث كيفية اختيار `mat_mul_id` لبلاطات الضرب المصفوفي، مما يعالج مشكلة أداء كانت تترك فيها العمال في حالة خمول أثناء التوجيه.

github llama.cpp · منذ 2 يوم · 4 مشاهدات

يضيف llama.cpp b11238 ggml_pad_ext للحشو الأيسر ويتخطى نقرات DFlash2

أصدر مشروع llama.cpp الإصدار b11238، مقدّماً تنفيذًا موحدًا للحشو الأيسر عبر الدالة الجديدة `ggml_pad_ext`. يجمع هذا التغيير الأساليب السابقة المستخدمة في مشفرات الصوت مثل Parakeet وLFM2-Audio وGranite Speech وGemma 4، مما يضمن تطابق التضمينات بتًا ببت لـ Gemma 4 مع تبسيط دعم الخلفية.

github llama.cpp · منذ 2 يوم · 5 مشاهدات

llama.cpp b11232 يُمكّن الانتباه المضيء المربّع على x86

أصدر مشروع llama.cpp الإصدار b11232، الذي يتضمن تحديثات لخلفية ggml-cpu. يركز هذا الإصدار على تمكين الانتباه المضيء المربّع لأبعاد الرأس غير المضاعفة للمتجه على بنية x86.