llama.cppプロジェクトはバージョンb10413をリリースし、ドラフトGGUFモデルのメタデータから直接推測デコーディングの仕様タイプを自動検出する機能を導入しました。

  • ドラフトGGUFヘッダーから`general.architecture`を読み取り、`dflash`や`markov_w1.weight`などのテンソルを`draft-dspark`または`draft-dflash`にマッピングすることで、仕様タイプを自動検出します。
  • `--spec-type`を明示的に指定せずにローカルのドラフトモデルを読み込むと、推測デコーディングが非アクティブ（タイプNONE）のままになる問題を修正しました。
  • 仕様タイプの検出ロジックをRAIIパターンを使用して推測モジュールに移動し、自動検出が発生した際にユーザーに通知するログを追加しました。
  • macOS（Apple SiliconおよびIntel）、iOS、Linux（CPU、Vulkan、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、ROCm）、openEuler用のバイナリを提供しています。

この変更により、仕様タイプの手動構成を必要とせずに、ローカルのドラフトモデルで推測デコーディングが正しく有効化されるようになりました。