llama.cpp 项目发布了构建版本 b10662,引入了一个新的 `--kv-unified-per-slot` 参数,允许用户为统一 KV 缓存指定每个槽位的上下文。此更改用上下文池槽位替换了之前的上下文比例机制,并重构了底层实现。
- 添加 `ctx-per-slot` 参数以更细粒度地管理统一 KV 缓存分配。
- 将 ctx 比例替换为 ctx 池槽位,以改进内存管理逻辑。
- 移除已弃用的 `ctx-pool-slots` 参数,并将 `ctx-per-slot` 转换为整数类型。
- 包含由 Xuan Son Nguyen 进行的一般格式清理和代码重构。
此更新使用户能够在统一 KV 缓存系统的多个槽位之间更精细地控制上下文窗口分布。