llama.cpp プロジェクトは、GLM_DSA (GLM-5.2) モデルアーキテクチャ向けの NextN/MTP 推測デコーディングサポートを導入するビルド b10174 をリリースしました。

  • GLM-5.2 NextN/MTP を --spec-type draft-mtp ターゲットとして追加し、密な MLA アテンションと MTP コンテキスト KV セットアップを有効にします。
  • GlmMoeDsaForCausalLM 向けの --mtp/--no-mtp エクスポートをサポートするように変換スクリプトを更新し、エクスポート時に NextN ブロックを削除するか保持するかをユーザーが選択できるようになります。
  • macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL)、および openEuler プラットフォーム向けのビルド済みバイナリを提供します。

このアップデートにより、llama.cpp フレームワーク内で推測デコーディング技術を活用し、GLM-5.2 モデルの推論速度を向上させることができます。