أصدر مشروع llama.cpp الإصدار b10174، مقدمًا دعم فك التشفير التكهن NextN/MTP لهيكل نموذج GLM_DSA (GLM-5.2).

  • يضيف GLM-5.2 NextN/MTP كهدف --spec-type draft-mtp، مما يمكّن من انتباه MLA الكثيف وإعداد سياق KV الخاص بـ MTP.
  • يحدث سكريبت التحويل لدعم التصدير --mtp/--no-mtp لـ GlmMoeDsaForCausalLM، مما يسمح للمستخدمين بالتخلص من أو الاحتفاظ بكتلة NextN أثناء التصدير.
  • يوفر ملفات ثنائية جاهزة لأنظمة macOS (Apple Silicon و Intel)، Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، Android، Windows (CPU، CUDA 12/13، Vulkan، OpenCL، ROCm، SYCL)، ومنصات openEuler.

يتيح هذا التحديث سرعات استنتاج أسرع لنماذج GLM-5.2 من خلال الاستفادة من تقنيات فك التشفير التكهن داخل إطار عمل llama.cpp.