llama.cpp 项目发布了版本 b9927,其中包括通过将命令行界面移至基于 HTTP 的实现而进行的重大更新。此更改在 CLI 中引入了对路由器模式的支持。
- CLI 现在使用基于 HTTP 的后端,而不是以前的方法。
- 新的 CLI 实现支持路由器模式。
- 模型别名现在在界面中显示。
- macOS(Apple Silicon 和 Intel)、Linux、Android、Windows 和 openEuler 均可用预编译二进制文件。
- GPU 加速选项包括 CUDA 12/13、Vulkan、ROCm、OpenCL、SYCL 和 OpenVINO,适用于支持的平台。
此版本为各种操作系统和硬件配置提供了更新的二进制文件,同时 CLI 工具也进行了架构调整。