llama.cpp 项目发布了版本 b9986，解决了特定的聊天模板问题。此次更新包括对强制开启裸模板时发生的推理泄漏的修复。

  • 通过修剪尾部空格来防止内容吞没，从而修复推理起始标签的推断。
  • 解决了影响 Nemotron Nano v2 模型的回归问题。
  • 提供适用于 macOS (Apple Silicon 和 Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP) 和 openEuler 的二进制文件。

此版本确保了对特定模型架构的正确模板处理，并在所有支持的平台提供了更新的二进制文件。