github llama.cpp · منذ 4 يوم · inference

يقوم llama.cpp b10827 بإصلاح اختيار حزمة الأوزان الخاصة بـ OpenCL لـ mul_mat q4_K و q5_K

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10827، والذي يتضمن إصلاحًا لاختيار حزمة الأوزان بشكل صحيح لعمليات ضرب المصفوفات q4_K و q5_K باستخدام OpenCL.

يوفر الإصدار ملفات ثنائية (binaries) لأنظمة macOS (Apple Silicon و Intel)، و Linux (Ubuntu x64، arm64، s390x)، و Windows (CPU، CUDA 12/13، Vulkan، ROCm، SYCL)، و Android، و iOS.
دعم OpenCL Adreno متاح على Windows arm64، بينما يظل KleidiAI معطلاً لأنظمة macOS Apple Silicon.
يتضمن التحديث أيضًا بناء واجهة مستخدم جديدة وروابط attestation للتحقق.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency Local inference

قراءة الأصل

llama.cpp b10840 يضيف فك الضغط غير المشروط Q4_K/Q5_K والوصول المسبق L2 لـ CUDA

أصدر مشروع llama.cpp الإصدار b10840، الذي يقدم تحسينات للأداء لاستدلال CUDA. يطبق التحديث حسابًا غير مشروط لتنسيقات التكميم Q4_K و Q5_K لتسريع ضرب المصفوفة-المتجه (mmvq).

github llama.cpp · منذ 7 يوم · 21 مشاهدة

llama.cpp b10791 يضيف تحسينات OpenCL لتكميم lm_head و GEMV في الترميز

أصدر مشروع llama.cpp الإصدار b10791، الذي يقدم تحسينات كبيرة لـ OpenCL لرؤوس نماذج اللغة المكمّمة وعمليات GEMV في الترميز. يتضمن هذا التحديث أيضًا تحسينات لـ GEMM بمتوسط الدُفعات ذات الصلة بالترميز التخميني والتنبؤ بعدة رموز.

lab Hugging Face Blog · منذ 9 يوم · 13 مشاهدة

Hugging Face تطلق 207 نواة WebGPU وأداة لمعايرة المتصفح

أطلقت Hugging Face مكتبة @huggingface/kernels، وهي مكتبة لتحميل وتشغيل نوى WebGPU المحسّنة من Hub الخاص بـ Hugging Face، مع مجموعة أولية تضم 207 نواة. كما يُقدّم هذا الإصدار Fleet، وهو حزمة لمعايرة وحدة المعالجة الرسومية داخل المتصفح تجمع بين أدلة الأداء والدقة من أجهزة المستخدمين.

github llama.cpp · منذ 10 يوم · 19 مشاهدة

llama.cpp b10718 يوسع دمج MOE ليشمل specdec والرموز المتعددة

أصدر مشروع llama.cpp الإصدار b10718، والذي يتضمن تحديثًا مهمًا لخلفية CUDA. أبرز تغيير هو توسيع دمج Mixture of Experts (MOE) لدعم الترميز التخميني (specdec)، مما يعالج القيود السابقة حيث كان دمج MOE glu و topk-router مقيدًا بمعالجة رمز واحد فقط في كل مرة.

github llama.cpp · منذ 12 يوم · 19 مشاهدة

تمكّن llama.cpp من تنفيذ GEMM عبر xmem وتتجاوز tiled f32 على وحدات معالجة الرسومات Adreno

قام مشروع llama.cpp بتحديث الخلفية الخاصة بـ OpenCL لتحسين أداء ضرب المصفوفات على جيلين من وحدات معالجة الرسومات Adreno. تركز التغييرات بشكل أساسي على جيل X2E عن طريق تفعيل مسار GEMM xmem F16xF32 افتراضياً وتحسين التعامل مع جيل A7X.