github llama.cpp · منذ 1 ساعة · inference

llama.cpp b10549 يُمكّن تقسيم الموترات لـ LFM2/LFM2MOE

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10549، الذي يقدم بشكل أساسي دعمًا لتقسيم الموترات في نماذج LFM2 و LFM2MOE.

تتضمن التحديث ملفات ثنائية لأنظمة macOS (Apple Silicon و Intel)، و Linux (Ubuntu x64، arm64، s390x مع backends CPU و Vulkan و OpenVINO و SYCL)، و Windows (CPU و CUDA 12/13 و Vulkan و OpenCL و ROCm)، و Android.
يتم توفير دعم iOS عبر XCFramework.
تتوفر تجميعات openEuler للبنى x86 و aarch64 باستخدام ACL Graph.

يوفر هذا الإصدار ملفات ثنائية محدثة عبر منصات متعددة لتسهيل تشغيل نماذج LFM2/LFM2MOE مع capability تقسيم الموترات الجديد.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

vLLM v0.28.0rc2 يضيف DFlash2 Spec Decode مع الالتفاف المحلي ومحدد المرشحين

أصدر مشروع vLLM الإصدار 0.28.0rc2، والذي يتضمن ميزة فك التشفير التكهنات DFlash2.

github llama.cpp · منذ 6 ساعة · مشاهدتان

يصلح llama.cpp b10539 تجاوز سعة Vulkan FA MMQ ويضيف دعم CUDA 13 لنظام Windows

أصدر مشروع llama.cpp الإصدار b10539، الذي يعالج مشكلة حرجة في الاستقرار العددي في الخلفية (backend) الخاصة بـ Vulkan مع توسيع دعم الأجهزة لمستخدمي Windows.

github llama.cpp · منذ 7 ساعة · مشاهدة واحدة

يضيف llama.cpp b10541 وسيط --mmproj-device للمشاريع متعددة الوسائط

أصدر مشروع llama.cpp الإصدار b10541، مقدمًا وسيط سطر الأوامر `--mmproj-device` للسماح للمستخدمين بتحديد الخلفية (backend) للجهاز لتحميل ملفات الإسقاط متعدد الوسائط.

github llama.cpp · منذ 7 ساعة · مشاهدة واحدة

يصلح llama.cpp b10545 قراءات خارج الحدود في ضرب المصفوفات لـ Metal عندما لا يكون K مضاعفًا لـ 32

أصدر مشروع llama.cpp الإصدار b10545، الذي يعالج خطأً حرجًا في نواة ضرب المصفوفات لواجهة برمجة التطبيقات للترس في الخلفية Metal. يمنع التحديث السلوك غير المحدد والنتائج التالفة عند معالجة الترسات حيث لا يكون البعد K مضاعفًا لـ 32.

github llama.cpp · منذ 8 ساعة · مشاهدة واحدة

إضافة llama.cpp b10534 لنقاط تبديل CUDA مخصصة لكل عتاد لتسريع فك التشفير

أصدر مشروع llama.cpp الإصدار b10534، الذي يقدم نقاط تبديل خاصة بالعتاد لضبط نقطة الانتقال بين مسارات النواة المتجهة ونوى المصفوفات أثناء فك التشفير المُكمَّم على CUDA.