github llama.cpp · منذ 1 ساعة · inference

تحديث llama.cpp b11044 لـ hexagon im2col وإصدار الملفات الثنائية

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11044، والذي يتضمن تحديثًا لخلفية hexagon لتحسين عمليات image-to-column (im2col). يوفر الإصدار ملفات ثنائية جاهزة لأنظمة macOS و Linux و Windows و Android و openEuler على معالجات CPU و GPU ومسرعات الأجهزة الأخرى.

يقبل ggml-hexagon الآن عمليات IM2COL أحادية البعد ومُضافة إليها حشو.
أصبح kernel IM2COL من نوع pure-DDR aware للبعد الثاني (2D).
تم توسيع المسار السريع لـ patch-embed IM2COL DMA ليصل إلى البعد الأول (1D).
تمت إضافة kernel عام لـ blocked-staging IM2COL DMA.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

يضيف llama.cpp b11046 دعم OpenCL لنواة flash_attn_f32_f16_bin

أصدر مشروع llama.cpp الإصدار b11046، الذي يقدم دعمًا لـ OpenCL للنواة `flash_attn_f32_f16_bin`. يتضمن هذا التحديث أيضًا وظيفة الحشو المحمي (guarded prefill) لـ Flash Attention على أجهزة OpenCL.

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

يضيف llama.cpp b11045 دعم عملية ROLL للخلفية Hexagon

أصدر مشروع llama.cpp الإصدار b11045، الذي يقدم دعمًا لعملية ROLL داخل الخلفية Hexagon.

github llama.cpp · منذ 12 ساعة · مشاهدة واحدة

llama.cpp b11035 يضيف نوى IQ3_S MMQ للضرب المصفوفي لـ Vulkan

أطلق مشروع llama.cpp الإصدار b11035، مقدمًا دعمًا لنوى ضرب المصفوفات IQ3_S MMQ في الخلفية الخاصة بـ Vulkan.

github llama.cpp · منذ 1 يوم · 5 مشاهدات

llama.cpp b11026 يتخطى gate_up_exps لـ Qwen35MoE

أصدر مشروع llama.cpp الإصدار b11026، الذي يقدم تغييرًا لتخطي gate_up_exps عند تعيين علم TENSOR_SKIP. هذا التعديل مطلوب بشكل خاص لنماذج Qwen35MoE حيث تكون موتر MTP مدمجة ولكن غير محملة.

github llama.cpp · منذ 2 يوم · 4 مشاهدات

إصلاح llama.cpp b11019 لمحاذاة بيانات GGUF للملفات المضمنة وإضافة تحميل LoRA

أصدر مشروع llama.cpp الإصدار b11019، الذي يعالج خطأً حرجاً حيث كانت ملفات GGUF المضمنة عند إزاحات غير متوافقة تُعيد بيانات موتر غير صحيحة. يقوم التحديث بمحاذاة قسم بيانات GGUF بالنسبة لبداية الملف بدلاً من الإزاحة 0، مما يضمن التحميل الصحيح للنماذج المضمنة.