أصدر مشروع vLLM الإصدار 0.29.0، والذي يتضمن إصلاحًا رئيسيًا للخطأ المتعلق بالتخزين المؤقت للكثيف.
- يطبق التحديث إعداد التخزين المؤقت للكثيف الافتراضي بشكل خاص للنماذج الهجينة.
github
vLLM
·
منذ 2 يوم
·
inference
vLLM v0.29.0 يطبق التخزين المؤقت للكثيف الافتراضي للنماذج الهجينة
مُترجم من English → العربية
مقالات ذات صلة
github
llama.cpp
·
الآن
مباشر
إصلاح llama.cpp b10891 لانهيار Vulkan على PowerVR بالرجوع إلى اختزال الذاكرة المشتركة
أصدر مشروع llama.cpp الإصدار b10891، الذي يعالج مشكلة استقرار حرجة على وحدات معالجة الرسومات PowerVR. يعدل التحديث الخلفية Vulkan للرجوع إلى اختزال الذاكرة المشتركة لعمليات ضرب المصفوفة المتجهية بعد فك التكميم (dmmv).
media
MarkTechPost
·
الآن
مباشر
ديب سيك تطلق DeepSeek-V4.1-Flash بسياق من 1 مليون وتخزين مؤقت KV بدقة FP4
أعلنت ديب سيك أيه آي عن إطلاق DeepSeek-V4.1-Flash، وهو نموذج مختلط الخبراء متعدد الوسائط يتميز بنافذة سياق تتكون من مليون رمز وتخزين مؤقت KV بدقة FP4 يقلل من حجم التخزين المؤكي العالمي إلى 890 بايت لكل رمز. يعتمد النموذج على بنية مشفر-مفكك سببية وCompressed Sparse Attention 2 (CSA2) لخفض متطلبات الذاكرة بشكل كبير مع الحفاظ على الأداء.
github
llama.cpp
·
منذ 1 ساعة
·
مشاهدة واحدة
مباشر
إصدار llama.cpp b10889 يتجنب تخصيص ذاكرة التخزين المؤقت V للمؤشر
أصدر مشروع llama.cpp الإصدار b10889، والذي يتضمن تحسينًا للذاكرة لتجنب تخصيص ذاكرة التخزين المؤقت V للمؤشر نظرًا لأنه غير مستخدم.
github
llama.cpp
·
منذ 3 ساعة
·
مشاهدة واحدة
llama.cpp b10888 يضيف علامات تصحيح أخطاء مخزن الأوامر لمحللات GPU
أصدر مشروع llama.cpp الإصدار b10888، والذي يتضمن ميزة جديدة لإضافة علامات تصحيح أخطاء مخزن الأوامر لمحللات GPU في الخلفية Vulkan.
github
llama.cpp
·
منذ 4 ساعة
·
مشاهدة واحدة
إضافة llama.cpp b10886 دعم الضمادات المتجهة Q1_0 لـ s390x
أصدر مشروع llama.cpp الإصدار b10886، الذي يقدم دعم الضمادات المتجهة Q1_0 لهندسة s390x. يتضمن هذا التحديث تنفيذ `ggml_vec_dot_q1_0_q8_0` وتحديث الوثائق لتعكس القدرة الجديدة.