llama.cpp 项目发布了构建版本 b10649,引入了合成推测接受的新功能。此添加专门针对基准测试目的,并且可在 llama-server 和 llama-cli 组件中使用。
- 向 llama-server 和 llama-cli 添加了仅用于基准测试的合成推测接受。
- 包含适用于 CPU、GPU 和各种加速后端的 macOS、iOS、Linux、Windows、Android 和 openEuler 二进制文件。
- 在此构建中禁用了 macOS Apple Silicon 上的 KleidiAI 支持。
此版本为广泛的平台提供了更新的二进制文件,同时添加了用于评估推测解码性能的具体工具。