github llama.cpp · الآن · inference

إصدار llama.cpp b10889 يتجنب تخصيص ذاكرة التخزين المؤقت V للمؤشر

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10889، والذي يتضمن تحسينًا للذاكرة لتجنب تخصيص ذاكرة التخزين المؤقت V للمؤشر نظرًا لأنه غير مستخدم.

يوفر هذا التحديث ثنائيات جاهزة لأنظمة macOS (Apple Silicon و Intel)، و iOS، و Linux (Ubuntu x64، arm64، s390x مع CPU، Vulkan، ROCm 10.0، OpenVINO، و backends SYCL)، و Android (arm64)، و Windows (CPU، OpenCL Adreno، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm 10.0)، و openEuler.

يتضمن الإصدار أيضًا واجهة المستخدم llama.cpp.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

llama.cpp b10888 يضيف علامات تصحيح أخطاء مخزن الأوامر لمحللات GPU

أصدر مشروع llama.cpp الإصدار b10888، والذي يتضمن ميزة جديدة لإضافة علامات تصحيح أخطاء مخزن الأوامر لمحللات GPU في الخلفية Vulkan.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

إضافة llama.cpp b10886 دعم الضمادات المتجهة Q1_0 لـ s390x

أصدر مشروع llama.cpp الإصدار b10886، الذي يقدم دعم الضمادات المتجهة Q1_0 لهندسة s390x. يتضمن هذا التحديث تنفيذ `ggml_vec_dot_q1_0_q8_0` وتحديث الوثائق لتعكس القدرة الجديدة.

github llama.cpp · منذ 17 ساعة · مشاهدة واحدة

إصلاح llama.cpp b10883 لضرب المصفوفات في Vulkan واستعادة تحسينات Ampere

أصدر مشروع llama.cpp الإصدار b10883، والذي يتضمن تحديثات كبيرة لخلفية Vulkan. يتمثل التغيير الرئيسي في استخدام ثوابت المواصفات لعمليات ضرب المصفوفة-المصفوفة من النوع A لتحسين تجميع الظلال والأداء.

media r/LocalLLaMA · منذ 20 ساعة · مشاهدة واحدة

gtrg55 تطلق نسخة NVIDIA Cosmos3 64B المُكمَّاة بـ INT4 للتوليد المحلي للصور

قام مستخدم بنشر الكود والأوزان لتشغيل نموذج Cosmos3 الخاص بشركة NVIDIA الذي يحتوي على 64 مليار معلمة محليًا باستخدام التكمية INT4. تدعم التنفيذ مهام النص إلى صورة والصورة إلى الفيديو على Apple Silicon عبر MLX وكذلك CUDA.

github llama.cpp · منذ 1 يوم · مشاهدتان

يصلح llama.cpp b10872 المعامل الأيسر null في البحث عن قوالب Jinja

أصدر مشروع llama.cpp الإصدار b10872، والذي يتضمن إصلاحًا لمعالجة قوالب Jinja. يعالج التحديث مشكلة حيث كانت القوالب التي تضبط متغيرًا اختياريًا افتراضيًا إلى none وتختبر انتماءه في خريطة قد تسببت سابقًا في خطأ.