يحدث إصدار v0.29.0rc5 القيمة الافتراضية للمعلمة `prefix_cache_retention_interval` إلى `dense` خصيصًا لنماذج Mamba.
- يستهدف التغيير بنية Mamba داخل النظام الأساسي.
- يعدل سلوك التخزين المؤقت عن طريق تعيين فترة الاحتفاظ على dense.
github
vLLM
·
منذ 2 يوم
·
inference
v0.29.0rc5 يغير القيمة الافتراضية لـ prefix_cache_retention_interval إلى dense لـ Mamba
مُترجم من English → العربية
مقالات ذات صلة
media
MarkTechPost
·
الآن
مباشر
ديب سيك تطلق DeepSeek-V4.1-Flash بسياق من 1 مليون وتخزين مؤقت KV بدقة FP4
أعلنت ديب سيك أيه آي عن إطلاق DeepSeek-V4.1-Flash، وهو نموذج مختلط الخبراء متعدد الوسائط يتميز بنافذة سياق تتكون من مليون رمز وتخزين مؤقت KV بدقة FP4 يقلل من حجم التخزين المؤكي العالمي إلى 890 بايت لكل رمز. يعتمد النموذج على بنية مشفر-مفكك سببية وCompressed Sparse Attention 2 (CSA2) لخفض متطلبات الذاكرة بشكل كبير مع الحفاظ على الأداء.
github
llama.cpp
·
منذ 1 ساعة
·
مشاهدة واحدة
مباشر
إصدار llama.cpp b10889 يتجنب تخصيص ذاكرة التخزين المؤقت V للمؤشر
أصدر مشروع llama.cpp الإصدار b10889، والذي يتضمن تحسينًا للذاكرة لتجنب تخصيص ذاكرة التخزين المؤقت V للمؤشر نظرًا لأنه غير مستخدم.
github
llama.cpp
·
منذ 3 ساعة
·
مشاهدة واحدة
llama.cpp b10888 يضيف علامات تصحيح أخطاء مخزن الأوامر لمحللات GPU
أصدر مشروع llama.cpp الإصدار b10888، والذي يتضمن ميزة جديدة لإضافة علامات تصحيح أخطاء مخزن الأوامر لمحللات GPU في الخلفية Vulkan.
github
llama.cpp
·
منذ 4 ساعة
·
مشاهدة واحدة
إضافة llama.cpp b10886 دعم الضمادات المتجهة Q1_0 لـ s390x
أصدر مشروع llama.cpp الإصدار b10886، الذي يقدم دعم الضمادات المتجهة Q1_0 لهندسة s390x. يتضمن هذا التحديث تنفيذ `ggml_vec_dot_q1_0_q8_0` وتحديث الوثائق لتعكس القدرة الجديدة.
github
llama.cpp
·
منذ 18 ساعة
·
مشاهدة واحدة
إصلاح llama.cpp b10883 لضرب المصفوفات في Vulkan واستعادة تحسينات Ampere
أصدر مشروع llama.cpp الإصدار b10883، والذي يتضمن تحديثات كبيرة لخلفية Vulkan. يتمثل التغيير الرئيسي في استخدام ثوابت المواصفات لعمليات ضرب المصفوفة-المصفوفة من النوع A لتحسين تجميع الظلال والأداء.