llama.cppプロジェクトはバージョンb9986をリリースし、特定のチャットテンプレートの問題に対処しました。このアップデートには、強制オープンされた裸のテンプレートで発生した推論リークの修正が含まれています。

  • 末尾の空白をトリミングしてコンテンツが飲み込まれるのを防ぎ、推論開始タグの推論を修正します。
  • Nemotron Nano v2モデルに影響を与える回帰問題を解決します。
  • macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP)、および openEuler のバイナリを提供します。

このリリースにより、特定のモデルアーキテクチャに対する正しいテンプレート処理が保証され、サポートされているプラットフォーム全体で更新されたバイナリが提供されます。