llama.cpp プロジェクトはバージョン b9837 をリリースし、推論トークンを保持するための Jinja チャットテンプレート用の新しい `--reasoning-preserve` フラグを導入しました。このアップデートではヘルプメッセージの修正に加え、macOS、Linux、Windows、Android、openEuler の各種ハードウェアバックエンド向けにビルド済みバイナリも提供されています。

  • 推論コンテンツを保持するため、jinja およびチャットテンプレートに `--reasoning-preserve` フラグを追加。
  • コードベース内のヘルプメッセージテキストを修正。
  • macOS Apple Silicon ビルドにおける KleidiAI サポートを無効化。
  • Ubuntu（CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）、macOS（Apple Silicon および Intel）向けのバイナリをリリース。

このリリースにより、ユーザーは幅広いプラットフォームとハードウェアアクセラレータで最新の llama.cpp の機能にアクセスでき、チャットテンプレート内の推論トークンの処理について特定の制御を提供します。