llama.cpp 项目发布了 b9833 版本,引入了专为 MiniCPM5 模型设计的解析器,并附带多项错误修复和重构。此次更新包括工具调用解析支持、语法简化,以及修正 Jinja API 行为以符合 Jinja2 标准。

  • 实现了专用的 MiniCPM5 PEG 解析器,支持 XML 工具调用,并修复了流式处理中的工具参数占位符。
  • 重构聊天模块,为 MiniCPM5 使用自动解析器,同时回滚共享映射器和历史回退机制。
  • 修正 jinja min/max API 以符合 Jinja2 规范,并将模板命名更新为 openbmb-MiniCPM5-1B.jinja。
  • 提供适用于 macOS(Apple Silicon、Intel)、iOS、Linux(CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows(CPU、CUDA 12/13、Vulkan、OpenCL、HIP)和 openEuler 的二进制文件。

此次发布使用户能够在广泛的硬件架构和操作系统上运行 MiniCPM5 模型,并具备改进的工具调用能力。