github vLLM · الآن · inference

vLLM v0.28.0rc2 يضيف DFlash2 Spec Decode مع الالتفاف المحلي ومحدد المرشحين

مُترجم من English → العربية

أصدر مشروع vLLM الإصدار 0.28.0rc2، والذي يتضمن ميزة فك التشفير التكهنات DFlash2.

تنفذ DFlash2 آلية التفاف محلية لتوليد الرموز بكفاءة.
يقدم التحديث محدد مرشحين مخصصًا لتحسين عملية spec decode.
تم اختيار هذا التغيير من الالتزام b389ac2 وتم التوقيع عليه بواسطة khluu.

الأهمية 1/3 الموثوقية 2/3 vLLM Inference efficiency

يصلح llama.cpp b10539 تجاوز سعة Vulkan FA MMQ ويضيف دعم CUDA 13 لنظام Windows

أصدر مشروع llama.cpp الإصدار b10539، الذي يعالج مشكلة حرجة في الاستقرار العددي في الخلفية (backend) الخاصة بـ Vulkan مع توسيع دعم الأجهزة لمستخدمي Windows.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

يضيف llama.cpp b10541 وسيط --mmproj-device للمشاريع متعددة الوسائط

أصدر مشروع llama.cpp الإصدار b10541، مقدمًا وسيط سطر الأوامر `--mmproj-device` للسماح للمستخدمين بتحديد الخلفية (backend) للجهاز لتحميل ملفات الإسقاط متعدد الوسائط.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

يصلح llama.cpp b10545 قراءات خارج الحدود في ضرب المصفوفات لـ Metal عندما لا يكون K مضاعفًا لـ 32

أصدر مشروع llama.cpp الإصدار b10545، الذي يعالج خطأً حرجًا في نواة ضرب المصفوفات لواجهة برمجة التطبيقات للترس في الخلفية Metal. يمنع التحديث السلوك غير المحدد والنتائج التالفة عند معالجة الترسات حيث لا يكون البعد K مضاعفًا لـ 32.

github llama.cpp · منذ 4 ساعة · مشاهدة واحدة

إضافة llama.cpp b10534 لنقاط تبديل CUDA مخصصة لكل عتاد لتسريع فك التشفير

أصدر مشروع llama.cpp الإصدار b10534، الذي يقدم نقاط تبديل خاصة بالعتاد لضبط نقطة الانتقال بين مسارات النواة المتجهة ونوى المصفوفات أثناء فك التشفير المُكمَّم على CUDA.

github llama.cpp · منذ 5 ساعة · مشاهدة واحدة

إصدار llama.cpp b10538 مع ذاكرة تخزين مؤقت KV غير مُكمّأة للحزم الكبيرة

أطلق مشروع llama.cpp الإصدار b10538، مقدمًا تحسينًا رئيسيًا في الخلفية metal. يتيح هذا التحديث فك تكميم ذاكرة التخزين المؤقت للمفاتيح والقيم (KV) حصريًا لأحجام الحزم الكبيرة.