github llama.cpp · منذ 3 ساعة · inference

يسمح llama.cpp b11043 بـ HMX flash-attention مع head_dim=72

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11043، الذي يتضمن تغييرًا في تنفيذ HMX flash-attention. يتيح هذا التحديث دعم أبعاد الرأس التي ليست مضاعفات للرقم 64، مما يسمح تحديدًا بإعدادات مثل head_dim=72 الخاص بـ SigLIP.

يعمل نواة flash-attention الخاصة بـ HMX الآن على DK/DV مقربة لأعلى إلى 64 مع قنوات ذيلية مملوءة بالصفر.
تتوفر ثنائيات جاهزة لـ macOS (Apple Silicon و Intel)، iOS، Linux (CPU، Vulkan، CUDA، ROCm، OpenVINO، SYCL)، Windows (CPU، OpenCL، CUDA، Vulkan، OpenVINO، SYCL، ROCm)، Android، و openEuler.

يتيح هذا التغيير للمستخدمين تشغيل النماذج ذات أبعاد الرأس غير القياسية على الأجهزة المدعومة دون مشاكل توافق.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

يضيف llama.cpp b11046 دعم OpenCL لنواة flash_attn_f32_f16_bin

أصدر مشروع llama.cpp الإصدار b11046، الذي يقدم دعمًا لـ OpenCL للنواة `flash_attn_f32_f16_bin`. يتضمن هذا التحديث أيضًا وظيفة الحشو المحمي (guarded prefill) لـ Flash Attention على أجهزة OpenCL.

github llama.cpp · منذ 1 ساعة · مشاهدة واحدة مباشر

تحديث llama.cpp b11044 لـ hexagon im2col وإصدار الملفات الثنائية

أصدر مشروع llama.cpp الإصدار b11044، والذي يتضمن تحديثًا لخلفية hexagon لتحسين عمليات image-to-column (im2col). يوفر الإصدار ملفات ثنائية جاهزة لأنظمة macOS و Linux و Windows و Android و openEuler على معالجات CPU و GPU ومسرعات الأجهزة الأخرى.

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

يضيف llama.cpp b11045 دعم عملية ROLL للخلفية Hexagon

أصدر مشروع llama.cpp الإصدار b11045، الذي يقدم دعمًا لعملية ROLL داخل الخلفية Hexagon.

github llama.cpp · منذ 5 ساعة · مشاهدة واحدة

llama.cpp b11042 يضيف نواة OpenCL الثنائية A8 Q6_K

أصدر مشروع llama.cpp الإصدار b11042، الذي يقدم نواة OpenCL ثنائية جديدة لنماذج A8 Q6_K غير MoE. يتضمن هذا التحديث أيضًا إصلاحات لتوافق التخطيط داخل الخلفية الخاصة بـ OpenCL.

github llama.cpp · منذ 9 ساعة · مشاهدة واحدة

يضيف llama.cpp الإصدار b11039 دعم نمط SWA إلى الحافظة والنماذج المحمّلة

أصدر مشروع llama.cpp البناء b11039، الذي يحدث الحافظة لكتابة أنماط الانتباه ذات النافذة المنزلقة (SWA) وهندسة MLA SWA لجميع النماذج التي تستخدم SWA. يضمن التغيير كتابة `sliding_window_pattern` كعلم لكل طبقة بدلاً من تجميعها إلى قيمة قياسية، مما يحافظ على تمثيل البيانات بدقة.