github llama.cpp · منذ 2 يوم · inference

llama.cpp b11017 يتخطى عمل MoE غير الضروري في مسار mul_mm coopmat1

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11017، الذي يتضمن تحسينًا لـ Vulkan لتخطي عمل Mixture of Experts (MoE) غير الضروري في مسار mul_mm coopmat1.

يوفر هذا التحديث ثنائيات جاهزة لأنظمة macOS (Apple Silicon و Intel)، و Linux (CPU، Vulkan، CUDA 12/13، ROCm، OpenVINO، SYCL)، و Windows (CPU، OpenCL Adreno، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm)، و Android، و openEuler.

يتضمن الإصدار أيضًا واجهة المستخدم الخاصة بـ llama.cpp.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

يضيف llama.cpp b11046 دعم OpenCL لنواة flash_attn_f32_f16_bin

أصدر مشروع llama.cpp الإصدار b11046، الذي يقدم دعمًا لـ OpenCL للنواة `flash_attn_f32_f16_bin`. يتضمن هذا التحديث أيضًا وظيفة الحشو المحمي (guarded prefill) لـ Flash Attention على أجهزة OpenCL.

github llama.cpp · منذ 1 ساعة · مشاهدة واحدة مباشر

تحديث llama.cpp b11044 لـ hexagon im2col وإصدار الملفات الثنائية

أصدر مشروع llama.cpp الإصدار b11044، والذي يتضمن تحديثًا لخلفية hexagon لتحسين عمليات image-to-column (im2col). يوفر الإصدار ملفات ثنائية جاهزة لأنظمة macOS و Linux و Windows و Android و openEuler على معالجات CPU و GPU ومسرعات الأجهزة الأخرى.

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

يضيف llama.cpp b11045 دعم عملية ROLL للخلفية Hexagon

أصدر مشروع llama.cpp الإصدار b11045، الذي يقدم دعمًا لعملية ROLL داخل الخلفية Hexagon.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

يسمح llama.cpp b11043 بـ HMX flash-attention مع head_dim=72

أصدر مشروع llama.cpp الإصدار b11043، الذي يتضمن تغييرًا في تنفيذ HMX flash-attention. يتيح هذا التحديث دعم أبعاد الرأس التي ليست مضاعفات للرقم 64، مما يسمح تحديدًا بإعدادات مثل head_dim=72 الخاص بـ SigLIP.

github llama.cpp · منذ 5 ساعة · مشاهدة واحدة

llama.cpp b11042 يضيف نواة OpenCL الثنائية A8 Q6_K

أصدر مشروع llama.cpp الإصدار b11042، الذي يقدم نواة OpenCL ثنائية جديدة لنماذج A8 Q6_K غير MoE. يتضمن هذا التحديث أيضًا إصلاحات لتوافق التخطيط داخل الخلفية الخاصة بـ OpenCL.