llama.cpp 项目已发布版本 b9837,为 Jinja 聊天模板引入了新的 `--reasoning-preserve` 标志,以保留推理令牌。此更新还修正了帮助信息,并为 macOS、Linux、Windows、Android 和 openEuler 在各种硬件后端上提供了预构建的二进制文件。

  • 向 jinja 和聊天模板添加了 `--reasoning-preserve` 标志,以保留推理内容。
  • 修正了代码库中的帮助信息文本。
  • 禁用了 macOS Apple Silicon 构建的 KleidiAI 支持。
  • 发布了适用于 Ubuntu(CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL)、Windows(CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)和 macOS(Apple Silicon 和 Intel)的二进制文件。

此发布使用户能够在各种平台和硬件加速器上访问最新的 llama.cpp 功能,同时提供对聊天模板中推理令牌处理的特定控制。