llama.cpp 项目发布了版本 b9945,其中包括对服务器组件的聊天模板思考探针的关键修复。该更改将探针移至初始化 try/catch 块内部,以防止未捕获的异常。
此前,具有在初始化时解析但在生成解析器期间失败(例如,使用 {% call %})的聊天模板的模型会在受保护范围之外引发 std::invalid_argument 错误。这导致 llama-cli 通过 SIGABRT 中止,而不是优雅地加载失败。该修复确保应用时的错误与初始化解析错误一致处理。
该版本为 macOS、Linux、Windows、Android 和 openEuler 提供了二进制文件,涵盖各种架构,包括 CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL 和 OpenCL。