llama.cppプロジェクトはバージョンb9910をリリースし、サーバーコンポーネントにおけるドラフトモデルの適合と読み込みの間の重大な不整合に対処しました。このアップデートには、ドラフトモデル読み込み中のプログレスコールバックのスロットリング問題の修正と、推測的初期化のリファクタリングが含まれます。

  • ドラフト/マルチトークン予測のパラメータ初期化、モデル、およびコンテキスト読み込みを統一します。
  • 推測的初期化ロジックをspeculative.cppに移動します。
  • server_context_implのmodel_dftとctx_dftが生のポインターを使用するように変更します。
  • このリリースではmacOS Apple SiliconのKleidiAIサポートを無効にします。
  • macOS (Apple SiliconおよびIntel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、openEulerのバイナリを提供します。

このリリースは、基礎となる初期化と読み込みメカニズムを修正することで、推測的デコーディングを使用する際の安定したサーバー動作を保証します。