llama.cppプロジェクトはバージョンb9982をリリースしました。これは、`reasoning_budget_tokens`および`reasoning_budget_message`のリクエストごとの値が無視されていた`oaicompat_chat_params_parse`関数のバグを修正するものです。

  • サーバーは以前、これらのフィールドに対してサーバーレベルのデフォルトのみを読み取っており、パラメータオブジェクトにキーが既に存在していたため、呼び出し元によるオーバーライドが黙って破棄されていました。
  • この修正により、リクエストボディからの値が最初に読み込まれるようになり、ユーザーは推論予算(例:`reasoning_budget_tokens`を0に設定)やカスタムメッセージを明示的に制御できるようになります。
  • Qwen3テンプレートを使用する場合、トークンとメッセージの両方に対するリクエストごとのオーバーライドがサンプリングレイヤーに正しく渡されることを確認するためにユニットテストが追加されました。
  • このリリースには、CPU、CUDA、ROCm、Vulkan、OpenVINOを含むさまざまなハードウェアバックエンド向けのmacOS、Linux、Android、Windows、openEuler用のバイナリが含まれています。