github llama.cpp · منذ 1 ساعة · inference

إصدار llama.cpp b10202 مع دمج SYCL RMS_NORM

مُترجم من English → العربية

أطلق مشروع llama.cpp الإصدار b10202، مقدمًا تحسينًا لـ SYCL يدمج عمليات RMS_NORM و MUL.

يوفر هذا التحديث ثنائيات جاهزة لأنظمة macOS (Apple Silicon و Intel)، و iOS، و Linux (Ubuntu x64، arm64، s390x)، و Windows، و Android. يدعم العديد من خلفيات الأجهزة بما في ذلك CUDA 12/13، و Vulkan، و ROCm 7.2، و OpenVINO، و SYCL FP32/FP16، و HIP، و OpenCL Adreno.

يتضمن الإصدار أيضًا واجهة المستخدم القياسية لـ llama.cpp ويلاحظ أن دعم KleidiAI لأنظمة macOS Apple Silicon معطل حاليًا.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

llama.cpp b10201 يحسّن flash attention للـ KV المُكمّم في السياقات الطويلة

أصدر مشروع llama.cpp الإصدار b10201، والذي يتضمن تحسينًا رئيسيًا لخلفية ggml-webgpu. يعزز هذا التحديث أداء flash attention عند التعامل مع ذاكرة التخزين المؤقت للمفتاح والقيمة المُكمّمة أثناء توليد السياق الطويل.

github llama.cpp · منذ 17 ساعة · مشاهدة واحدة

llama.cpp b10198 يضيف دعم Vulkan للدمج الكمي

أصدر مشروع llama.cpp الإصدار b10198، الذي يقدم دعمًا لعمليات الدمج الكمي داخل الخلفية البرمجية Vulkan.

github llama.cpp · منذ 2 يوم · مشاهدة واحدة

llama.cpp b10180 يضيف مسارًا سريعًا متجاورًا ورياضيات فهرس 32 بت لعمليات SYCL الأحادية

أصدر مشروع llama.cpp الإصدار b10180، مقدمًا تحسينات للأداء لخلفية SYCL. تنفذ التحديث مسارًا سريعًا متجاورًا ويحول حساب فهرس العنصر عن طريق العنصر لاستخدام fastdiv مع أعداد صحيحة 32 بت.

github llama.cpp · منذ 4 يوم · 3 مشاهدات

إضافة llama.cpp b10155 دعم الصوت MiMo-V2.5

أصدر مشروع llama.cpp الإصدار b10155، الذي يقدم دعمًا لنموذج إدخال الصوت MiMo-V2.5. يتضمن هذا التحديث محول GGUF للصوت MiMo وينفذ منطق الخلفية بلغة C++ الضروري للتعامل مع نماذج الصوت القائمة على RVQ.

github llama.cpp · منذ 4 يوم · 3 مشاهدات

llama.cpp b10150 يعدل منطق الإرسال ggml ويصلح رسم dsv4

أصدر مشروع llama.cpp الإصدار b10150، والذي يتضمن تعديلات على منطق ggml لعمليات الإرسال إلى الخلفية الخاصة بالأوزان. يعالج هذا التحديث أيضًا إصلاحات لرسم llama dsv4.