github llama.cpp · منذ 18 ساعة · inference

llama.cpp b10702 يحسّن الضرب النقطي Q2_0 لـ AMD gfx1201

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10702، والذي يتضمن تحسينًا محددًا لمسار الضرب النقطي للتكميم Q2_0 على بنية gfx1201 من AMD. يوسع هذا التحديث تنفيذ HIP لاستخدام تعليمات التبديل amdgcn الأصلية، مما يحسن الأداء لهذا التكوين المحدد للأجهزة.

يُحسّن `vec_dot_q2_0_q8_1` باستخدام تبديل amdgcn الأصلي لـ gfx1201.
يوسع تحسين تبديل Q2_0 في HIP ويزيل حواجز التوفر الزائدة عن الحاجة.
يُحسّن فك ضغط MMQ Q2_0 في HIP باستخدام تعليمات التبديل الأصلية.
يستعيد معالجة فهرس البلاطة MMQ ويعلّم حواجز المعالج المسبق HIP في كود CUDA.

يوفر هذا الإصدار ملفات ثنائية لأنظمة macOS و Linux و Windows و Android و openEuler عبر وحدات المعالجة المركزية، ووحدات معالجة الرسومات (CUDA، ROCm، Vulkan، OpenCL)، والخوادم الخلفية المتخصصة مثل OpenVINO و SYCL.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 2 ساعة

llama.cpp b10718 يوسع دمج MOE ليشمل specdec والرموز المتعددة

أصدر مشروع llama.cpp الإصدار b10718، والذي يتضمن تحديثًا مهمًا لخلفية CUDA. أبرز تغيير هو توسيع دمج Mixture of Experts (MOE) لدعم الترميز التخميني (specdec)، مما يعالج القيود السابقة حيث كان دمج MOE glu و topk-router مقيدًا بمعالجة رمز واحد فقط في كل مرة.

github llama.cpp · منذ 4 ساعة · 3 مشاهدات

إصدار llama.cpp b10717 يعزز استرجاع معلومات ذاكرة SYCL

أصدر مشروع llama.cpp الإصدار b10717، والذي يتضمن تحسينًا محددًا لخلفية SYCL لوحدة معالجة الرسومات Intel. يحسن هذا التحديث القدرة على استرجاع معلومات الذاكرة المتاحة من خلال الاستفادة من واجهة برمجة التطبيقات L0 SYCL.

github llama.cpp · منذ 10 ساعة · 3 مشاهدات

llama.cpp b10712 يضيف اختيار radix top-k لـ Vulkan لنموذج Qwen 3.8 Flash Next

أصدر مشروع llama.cpp الإصدار b10712، مقدمًا برنامج تظليل جديد لترتيب radix top-k مصمم لدعم قيم k الأكبر من أو تساوي 1024. يستهدف هذا التحديث بشكل خاص نموذج Qwen 3.8 Flash Next ويتضمن اختبارات ذات صلة بالإضافة إلى دمج top-k qsa.

github llama.cpp · منذ 17 ساعة · 6 مشاهدات

llama.cpp b10705 يحسن معالجة TENSOR_READ_LAZY

أصدر مشروع llama.cpp الإصدار b10705، والذي يتضمن تحسينًا لآلية معالجة TENSOR_READ_LAZY. يجبر هذا التحديث الأصفار المتأخرة على وحدة المعالجة المركزية عند تمكين الإعداد المتأخر.

github llama.cpp · منذ 1 يوم · 6 مشاهدات

إصلاح llama.cpp b10691 لانهيار Metal null-pipeline في عملية الضرب mul_mat F16

أصدر مشروع llama.cpp الإصدار b10691، الذي يعالج مشكلة استقرار حرجة في الخلفية (backend) الخاصة بـ Metal. يحل التحديث بشكل محدد انهيار null-pipeline الذي يحدث أثناء عمليات ضرب المصادر F16.