llama.cpp 项目发布了版本 b9895,解决了其推测解码组件中的一个关键内存安全问题。该更新修复了在提示词缩减操作期间 ngram-map 中发生的越界读取错误。

  • 修复了提示词缩减时 ngram-map 的越界读取问题。
  • 修正了提示词缩减后 ngram-map 清理的截止点。
  • 提供了适用于 macOS (Apple Silicon 和 Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP) 和 openEuler 的二进制文件。

此版本通过防止与先前 ngram-map 处理相关的潜在崩溃或未定义行为,确保了依赖推测解码的用户的稳定性。