github llama.cpp · منذ 12 ساعة · inference

llama.cpp b11035 يضيف نوى IQ3_S MMQ للضرب المصفوفي لـ Vulkan

مُترجم من English → العربية

أطلق مشروع llama.cpp الإصدار b11035، مقدمًا دعمًا لنوى ضرب المصفوفات IQ3_S MMQ في الخلفية الخاصة بـ Vulkan.

تتضمن التحديث نوى جديدة لـ IQ3_S MMQ matmul لـ Vulkan.
يقوم Block_a_to_shmem الآن بتحميل بيانات بحجم 2 بايت لتحسين الوصول إلى الذاكرة.
تم تعديل فحوصات المحاذاة حيث يستخدم IQ3_S حجم البلاطة K.
تتوفر الملفات الثنائية لأنظمة macOS و Linux و Windows و Android و openEuler عبر منصات CPU و CUDA و ROCm و OpenVINO و SYCL و OpenCL.

يوفر هذا الإصدار ملفات ثنائية محدثة لأنظمة تشغيل متعددة ومسرعات الأجهزة، مما يتيح للمستخدمين الاستفادة من دعم الكوانتيزيشن الجديد لـ Vulkan.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

يضيف llama.cpp b11046 دعم OpenCL لنواة flash_attn_f32_f16_bin

أصدر مشروع llama.cpp الإصدار b11046، الذي يقدم دعمًا لـ OpenCL للنواة `flash_attn_f32_f16_bin`. يتضمن هذا التحديث أيضًا وظيفة الحشو المحمي (guarded prefill) لـ Flash Attention على أجهزة OpenCL.

github llama.cpp · منذ 1 ساعة · مشاهدة واحدة مباشر

تحديث llama.cpp b11044 لـ hexagon im2col وإصدار الملفات الثنائية

أصدر مشروع llama.cpp الإصدار b11044، والذي يتضمن تحديثًا لخلفية hexagon لتحسين عمليات image-to-column (im2col). يوفر الإصدار ملفات ثنائية جاهزة لأنظمة macOS و Linux و Windows و Android و openEuler على معالجات CPU و GPU ومسرعات الأجهزة الأخرى.

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

يضيف llama.cpp b11045 دعم عملية ROLL للخلفية Hexagon

أصدر مشروع llama.cpp الإصدار b11045، الذي يقدم دعمًا لعملية ROLL داخل الخلفية Hexagon.

github llama.cpp · منذ 1 يوم · 5 مشاهدات

llama.cpp b11026 يتخطى gate_up_exps لـ Qwen35MoE

أصدر مشروع llama.cpp الإصدار b11026، الذي يقدم تغييرًا لتخطي gate_up_exps عند تعيين علم TENSOR_SKIP. هذا التعديل مطلوب بشكل خاص لنماذج Qwen35MoE حيث تكون موتر MTP مدمجة ولكن غير محملة.

github llama.cpp · منذ 2 يوم · 4 مشاهدات

إصلاح llama.cpp b11019 لمحاذاة بيانات GGUF للملفات المضمنة وإضافة تحميل LoRA

أصدر مشروع llama.cpp الإصدار b11019، الذي يعالج خطأً حرجاً حيث كانت ملفات GGUF المضمنة عند إزاحات غير متوافقة تُعيد بيانات موتر غير صحيحة. يقوم التحديث بمحاذاة قسم بيانات GGUF بالنسبة لبداية الملف بدلاً من الإزاحة 0، مما يضمن التحميل الصحيح للنماذج المضمنة.