llama.cpp 项目发布了版本 b9957,重点在于改进服务器的工具基础设施。此次更新引入了 `tools_io` 抽象及其基本实现,同时移除了 `apply_diff` 函数。

  • 改进了编辑工具功能
  • 添加了 tools_io 抽象和 tools_io_basic
  • 将实用程序移至类成员并添加了 const 限定符
  • 修复了构建问题
  • 禁用了 macOS Apple Silicon 的 KleidiAI 支持
  • 为 macOS、Linux、Android、Windows 和 openEuler 提供了适用于 CPU、GPU 以及各种加速器(如 CUDA、Vulkan、ROCm 和 OpenVINO)的二进制文件

此版本更新了服务器端功能,并为广泛的硬件平台提供了更新的二进制文件。