github llama.cpp · منذ 1 ساعة · inference

llama.cpp b10984 يضيف دعم CUDA لـ SUM_ROWS المتصل صفياً

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10984، مقدماً دعم CUDA لعمليات SUM_ROWS المتصلة صفياً. ينظم هذا التحديث أيضاً الكود ليشمل GGML_OP_MEAN لمعالجة الموترات المتصلة صفياً عبر نواة مشتركة.

تمت إضافة دعم CUDA لـ SUM_ROWS المتصل صفياً.
تم تنظيم الكود لإضافة GGML_OP_MEAN للموترات المتصلة صفياً باستخدام نواة مشتركة.
تم تضمين اختبارات لعمليات تبديل وقطع MEAN.
تم توفير ملفات ثنائية لأنظمة macOS وLinux وWindows وAndroid وopenEuler عبر خلفيات CPU وCUDA وVulkan وROCm وOpenVINO وSYCL.

يضمن الإصدار التوافق مع مسرعات الأجهزة المختلفة وأنظمة التشغيل للاستدلال المحلي.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

llama.cpp b10985 يقيّد ذاكرة التخزين المؤقت التجزئة RPC للأوزان

أصدر مشروع llama.cpp الإصدار b10985، الذي يعدّل الخلفية RPC لتقييد التخزين المؤقت القائم على التجزئة حصريًا لأوزان الموترات. يعالج هذا التغيير مشكلة حيث كانت بيانات التنشيط تُجزّأ وتُخزّن دون داعٍ، مما يؤدي إلى استخدام مفرط للقرص.

github llama.cpp · منذ 3 ساعة · مشاهدتان

إصلاح llama.cpp b10981 للفك المشروط لـ Gemma-4 وتحسين استنتاج GPU MoE

يعالج إصدار llama.cpp b10981 مشكلات صحة حرجة في مسار فك التشفير الشرعي للخلفية OpenVINO، ويصحح بشكل خاص دعم النماذج مثل Gemma-4 التي تستخدم أحجام رؤوس لكل طبقة. كما يقدم تحسينات لاستنتاج GPU Mixture of Experts (MoE) ويحسن الأداء من خلال إعادة ترتيب حالات KV.

github llama.cpp · منذ 5 ساعة · مشاهدة واحدة

يضيف llama.cpp نوى Metal FA لـ HSK=96 و HSV=64 الخاص بـ MiniCPM3

أضاف مشروع llama.cpp دعم نواة Flash Attention (FA) للتكوين المحدد المستخدم بواسطة MiniCPM3 على Apple Silicon. يعالج هذا التغيير تعطلًا حيث كان العلم `-fa auto` يتوقف بسبب عدم وجود تثبيت للنواة لطول مفتاح الانتباه 96 وطول القيمة 64.

github llama.cpp · منذ 18 ساعة · 3 مشاهدات

إصدار llama.cpp b10970 يستخدم تراكم fp32 على أجهزة MFMA

أطلق مشروع llama.cpp الإصدار b10970، والذي يتضمن تحديثًا تقنيًا لخلفية fattn-mma. يُنفذ هذا التغيير استخدام مراكزي fp32 بشكل خاص لأجهزة بنية CDNA.

github llama.cpp · منذ 1 يوم · مشاهدة واحدة

يضيف llama.cpp b10956 اختيار الجذر لقيم k الكبيرة في عملية top_k باستخدام SYCL

تُطلق نسخة llama.cpp b10956 خوارزمية اختيار الجذر (radix select) للخلفية SYCL للتعامل مع قيم k الكبيرة في عملية TOP_K، والتي كانت سابقاً تعتمد على المعالج المركزي عندما تكون k > 32. يسمح هذا التغيير بمعالجة القيم الكبيرة لـ k مقيّمة على وحدة معالجة الرسومات باستخدام عمليات قائمة على المخطط التكراري (histogram-based passes) تحافظ على استقلالية حجم الذاكرة المحلية المشتركة عن قيمة k.