llama.cpp プロジェクトはビルド b11368 をリリースし、単純ドラフトおよび MTP（Multi-Token Prediction）ワークフローに確率的サンプリングを導入しました。この更新では、拒否サンプリングによってターゲットを検証しながら確率的選択を使用するようドラフティングメカニズムが変更されました。

  • ドラフターは確率的サンプリングを使用し、ターゲット検証は拒否サンプリングによって処理されます。
  • ドラフティングプロセス開始前に古い spec_draft_q バッファがドロップされます。
  • 文法制約付きリクエストは拒否サンプリングと argmax サンプリングへのフォールバックをサポートするようになりました。
  • 新しいフラグにより確率的ドラフトサンプリングが有効になり、デフォルトは greedy 動作になります。
  • ドラフトサンプラーはターゲットの RNG ストリームを共有しなくなり、マスク後に分布が再正規化されます。

このリリースでは、CUDA、ROCm、Vulkan、OpenVINO、SYCL を含むさまざまなハードウェアバックエンド向けに、macOS、Linux、Windows、Android、openEuler 用のバイナリが提供されています。