github llama.cpp · الآن · inference

llama.cpp b10780 يعزز واجهة برمجة التطبيقات SYCL لدعم النسخ من نظير إلى نظير

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10780، والذي يتضمن تحسينًا محددًا لخلفية SYCL. يعدل هذا التحديث واجهة برمجة التطبيقات لتمكين قدرات النسخ من نظير إلى نظير (peer-to-peer copy) لأجهزة SYCL.

يوفر الإصدار ملفات ثنائية لأنظمة macOS (Apple Silicon و Intel)، و Linux (Ubuntu x64، arm64، s390x)، و Windows (x64 و arm64)، و Android، و openEuler.
تشمل خلفيات الأجهزة المدعومة CPU، و Vulkan، و ROCm 10.0، و OpenVINO، و CUDA 12/13، و SYCL.
تم تعطيل تجميعات macOS Apple Silicon مع KleidiAI حاليًا في هذا الإصدار.
تم وضع علامة على دعم CUDA 13 لأنظمة Windows arm64 كإصدار تجريبي (preview release).

يتيح هذا التحديث للمستخدمين الاستفادة من ميزة النسخ من نظير إلى نظير الجديدة داخل تنفيذ SYCL.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 1 ساعة · مشاهدة واحدة مباشر

llama.cpp تضيف دعمًا لـ NVIDIA Nemotron-3-Puzzle-75B-A9B

تقدم llama.cpp دعمًا لنموذج NVIDIA Nemotron-3-Puzzle-75B-A9B، مما يتيح الاستدلال لهذه البنية المكونة من مزيج من الخبراء. تنفذ التحديث بنية أساسية لأحجام التغذية الأمامية للخبراء المتغيرة لكل طبقة وتوجيه top-k، وهو مطلوب لأن النموذج يحتوي على 40 طبقة MoE بقيم مختلفة لـ n_ff_exp و top-k.

github llama.cpp · منذ 1 ساعة · مشاهدة واحدة مباشر

llama.cpp b10777 يقلل العمل الزائد في Q4_K multi-column MMVQ

أصدر مشروع llama.cpp الإصدار b10777، الذي يتضمن تحسينات لخلفية SYCL لضرب المصفوفة-المتجه (MMVQ) متعدد الأعمدة باستخدام Q4_K. يركز التحديث على تقليل العمل الحسابي الزائد من خلال استراتيجيات فك ضغط الأوزان وإعادة استخدام التنشيطات.

github llama.cpp · منذ 14 ساعة · مشاهدتان

llama.cpp b10766 يضيف دعم الرؤية لـ DeepSeek 4

أصدر مشروع llama.cpp الإصدار b10766، والذي يتضمن إصلاحًا لدعم إدخال الرؤية بشكل صحيح لنموذج DeepSeek 4.

github llama.cpp · منذ 15 ساعة · 4 مشاهدات

إضافة llama.cpp b10762 دعمًا لـ DeepSeek-V4-Flash-Vision-Exp

أصدر مشروع llama.cpp الإصدار b10762، الذي يقدم دعمًا لنموذج DeepSeek-V4-Flash-Vision-Exp. يتضمن هذا التحديث أيضًا معالجة عدد الرموز الدنيا والقصوى من واجهة سطر الأوامر.

github llama.cpp · منذ 23 ساعة · مشاهدة واحدة

llama.cpp b10758 يضيف دمج MUL_MAT و MUL_MAT_ID لـ Hexagon

أصدر مشروع llama.cpp الإصدار b10758، مقدمًا قدرات دمج MUL_MAT و MUL_MAT_ID لمعالج DSP الخاص بـ Hexagon. يتضمن هذا التحديث أيضًا عدة إصلاحات لتحسين الاستقرار والأداء على عتاد Qualcomm.