github llama.cpp · منذ 2 ساعة · inference

يضيف llama.cpp b11045 دعم عملية ROLL للخلفية Hexagon

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11045، الذي يقدم دعمًا لعملية ROLL داخل الخلفية Hexagon.

تتضمن النسخة ثنائيات لنظام macOS (Apple Silicon و Intel)، و Linux (Ubuntu with CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, and SYCL)، و Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, and ROCm 10.0)، و Android arm64، و openEuler.
يتم أيضًا توفير إطار عمل XCFramework لنظام iOS وبناء واجهة المستخدم المستقل.
دعم KleidiAI لنظام macOS Apple Silicon معطل حاليًا في هذه النسخة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

يضيف llama.cpp b11046 دعم OpenCL لنواة flash_attn_f32_f16_bin

أصدر مشروع llama.cpp الإصدار b11046، الذي يقدم دعمًا لـ OpenCL للنواة `flash_attn_f32_f16_bin`. يتضمن هذا التحديث أيضًا وظيفة الحشو المحمي (guarded prefill) لـ Flash Attention على أجهزة OpenCL.

github llama.cpp · منذ 1 ساعة · مشاهدة واحدة مباشر

تحديث llama.cpp b11044 لـ hexagon im2col وإصدار الملفات الثنائية

أصدر مشروع llama.cpp الإصدار b11044، والذي يتضمن تحديثًا لخلفية hexagon لتحسين عمليات image-to-column (im2col). يوفر الإصدار ملفات ثنائية جاهزة لأنظمة macOS و Linux و Windows و Android و openEuler على معالجات CPU و GPU ومسرعات الأجهزة الأخرى.

github llama.cpp · منذ 12 ساعة · مشاهدة واحدة

llama.cpp b11035 يضيف نوى IQ3_S MMQ للضرب المصفوفي لـ Vulkan

أطلق مشروع llama.cpp الإصدار b11035، مقدمًا دعمًا لنوى ضرب المصفوفات IQ3_S MMQ في الخلفية الخاصة بـ Vulkan.

github llama.cpp · منذ 1 يوم · 5 مشاهدات

llama.cpp b11026 يتخطى gate_up_exps لـ Qwen35MoE

أصدر مشروع llama.cpp الإصدار b11026، الذي يقدم تغييرًا لتخطي gate_up_exps عند تعيين علم TENSOR_SKIP. هذا التعديل مطلوب بشكل خاص لنماذج Qwen35MoE حيث تكون موتر MTP مدمجة ولكن غير محملة.

github llama.cpp · منذ 2 يوم · 4 مشاهدات

إصلاح llama.cpp b11019 لمحاذاة بيانات GGUF للملفات المضمنة وإضافة تحميل LoRA

أصدر مشروع llama.cpp الإصدار b11019، الذي يعالج خطأً حرجاً حيث كانت ملفات GGUF المضمنة عند إزاحات غير متوافقة تُعيد بيانات موتر غير صحيحة. يقوم التحديث بمحاذاة قسم بيانات GGUF بالنسبة لبداية الملف بدلاً من الإزاحة 0، مما يضمن التحميل الصحيح للنماذج المضمنة.