أصدر مشروع llama.cpp الإصدار b10844، مدعوماً بعمليات مدمجة فائقة الاتصال لـ DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) في الخلفية البرمجية Vulkan. يجلب هذا التحديث Vulkan إلى مستوى مساوٍ لـ CUDA وMetal فيما يتعلق بهذه التحسينات المحددة.

  • يعمل تشغيل dsv4_hc_comb الجديد خوارزمية Sinkhorn الكاملة المكونة من 20 تكراراً داخل المسجلات، مستبدلاً حوالي 137 تنفيذاً لعقدة مرتبة لكل موقع بإرسال واحد.
  • يتعامل dsv4_hc_pre وdsv4_hc_post مع انهيار التدفق العنصري وتفرعه باستخدام الذاكرة المشتركة لمعاملات كل رمز.
  • كانت سلسلة التركيب غير المدمجة لـ Sinkhorn سابقاً تمثل حوالي 32% من وقت تشغيل عملية فك التشفير على عتاد gfx1151 عبر حوالي 16 ألف إرسال لكل رمز.
  • تتيح المتغيرات البيئية GGML_VK_DISABLE_DSV4_HC، بالإضافة إلى الأعلام الفردية _COMB و_PRE و_POST للمستخدمين تعطيل هذه العمليات بشكل مستقل.

يقضي هذا التغيير على عنق الزجاجة في الأداء الناتج عن سلسلة العمليات الأولية غير المدمجة لمستخدمي Vulkan الذين يشغلون نماذج DeepSeek-V4.