أصدرت Turboderp الإصدار ExLlamaV3 v1.0.0، وهو أول إصدار إنتاجي للمكتبة بعد أكثر من عام من التطوير. يقدم هذا التحديث تغييرات معمارية كبيرة وتحسينات للنواة تهدف إلى تحسين سرعة الاستدلال وتقليل التبعيات.
- إزالة تبعيات flash-attention-2 و xformers.
- توسيع دعم tensor-parallel لمعظم النماذج، بما في ذلك Gemma4.
- إدخال نواة انتباه جديدة مع كميّة ذاكرة التخزين المؤقت عبر الإنترنت والتي تقضي على بطء كميّة KV.
- إضافة مسارات الرسم البياني لجميع وحدات attn/GDN ونواة conv1d جديدة.
- تحسين أداء GEMM/GEMV على وحدات GPU من نوع Ampere بشكل كبير وإضافة نواة INT8 GEMV جديدة.
- تنفيذ جدولة تذاكر للنواة MoE الجديدة وإضافة دعم لـ GptOssForCausalLM و NemotronHForCausalLM.
يهدف هذا الإصدار إلى توفير قدرات استدلال أسرع وتوافق أوسع مع النماذج من خلال هذه التحسينات الشاملة وإصلاحات الأخطاء.