llama.cppプロジェクトは、推論デコーディングコンポーネント内の重大なメモリ安全性の問題に対処するバージョンb9895をリリースしました。このアップデートは、プロンプト縮小操作中にngram-mapで発生した配列外読み込みエラーを解決します。

  • プロンプト縮小時のngram-mapにおける配列外読み込みを修正。
  • プロンプト縮小後のngram-mapのクリーンアップ cutoff を修正。
  • macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP)、および openEuler 用のバイナリを提供。

このリリースは、以前のngram-map処理に関連する潜在的なクラッシュや未定義の動作を防ぐことで、推論デコーディングに依存するユーザーの安定性を保証します。