llama.cpp 项目发布了版本 b9957,重点在于改进服务器的工具基础设施。此次更新引入了 `tools_io` 抽象及其基本实现,同时移除了 `apply_diff` 函数。
- 改进了编辑工具功能
- 添加了 tools_io 抽象和 tools_io_basic
- 将实用程序移至类成员并添加了 const 限定符
- 修复了构建问题
- 禁用了 macOS Apple Silicon 的 KleidiAI 支持
- 为 macOS、Linux、Android、Windows 和 openEuler 提供了适用于 CPU、GPU 以及各种加速器(如 CUDA、Vulkan、ROCm 和 OpenVINO)的二进制文件
此版本更新了服务器端功能,并为广泛的硬件平台提供了更新的二进制文件。