github llama.cpp · منذ 1 يوم · inference

يضيف llama.cpp b10871 مظلّل iq4_xs mat-vec مخصص لـ Vulkan

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10871، مقدّماً مظلّل mul_mat_vec_iq4_xs مخصص لمسار dmmv في Vulkan. يحل هذا التغيير محل تنفيذ الاحتياطي العام السابق لتحسين الأداء على عتاد RDNA4.

يوفر المظلّل الجديد توليد رموز أسرع بنسبة 6-17% تقريبًا اعتمادًا على النموذج المستخدم.
تم إزالة فرع تجريبي حاول فك حلقة الكتف بالكامل لـ n_it <= 8 لأنه مكافئ وظيفيًا للحلقة البسيطة المحتفظ بها في الكود.
الملفات الثنائية متاحة لأنظمة macOS و Linux و Windows و Android و openEuler عبر الخلفيات CPU و CUDA و ROCm و OpenVINO و SYCL و Vulkan.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

llama.cpp b10888 يضيف علامات تصحيح أخطاء مخزن الأوامر لمحللات GPU

أصدر مشروع llama.cpp الإصدار b10888، والذي يتضمن ميزة جديدة لإضافة علامات تصحيح أخطاء مخزن الأوامر لمحللات GPU في الخلفية Vulkan.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

إضافة llama.cpp b10886 دعم الضمادات المتجهة Q1_0 لـ s390x

أصدر مشروع llama.cpp الإصدار b10886، الذي يقدم دعم الضمادات المتجهة Q1_0 لهندسة s390x. يتضمن هذا التحديث تنفيذ `ggml_vec_dot_q1_0_q8_0` وتحديث الوثائق لتعكس القدرة الجديدة.

github llama.cpp · منذ 17 ساعة · مشاهدة واحدة

إصلاح llama.cpp b10883 لضرب المصفوفات في Vulkan واستعادة تحسينات Ampere

أصدر مشروع llama.cpp الإصدار b10883، والذي يتضمن تحديثات كبيرة لخلفية Vulkan. يتمثل التغيير الرئيسي في استخدام ثوابت المواصفات لعمليات ضرب المصفوفة-المصفوفة من النوع A لتحسين تجميع الظلال والأداء.

github llama.cpp · منذ 1 يوم · مشاهدتان

يضيف llama.cpp b10870 خطوط أنابيب الضرب المصفوفي f16 من النوع B وضبط حجم بلاطة Warp لـ Intel coopmat1

أصدر مشروع llama.cpp الإصدار b10870، مقدمًا دعم Vulkan لخطوط أنابيب الضرب المصفوفي f16 من النوع B وضبط حجم بلاطة Warp بشكل خاص لأجهزة Intel coopmat1.

github llama.cpp · منذ 2 يوم · مشاهدة واحدة

إصلاح llama.cpp b10863 للخيوط الخاملة في mul_mv_iq3_xxs على Metal للمصفوفات الصغيرة

أصدر مشروع llama.cpp الإصدار b10863، الذي يتضمن إصلاحاً للخيوط الخاملة في نواة `mul_mv_iq3_xxs` على Metal عندما تكون قيمة `ne00` أقل من 1024. يعالج التحديث مشكلة نصف الخمول في مجموعة simdgroup من خلال إدخال نواة مقسمة منفصلة لأبعاد مصفوفة محددة.