llama.cpp 项目发布了构建版本 b10662,引入了一个新的 `--kv-unified-per-slot` 参数,允许用户为统一 KV 缓存指定每个槽位的上下文。此更改用上下文池槽位替换了之前的上下文比例机制,并重构了底层实现。

  • 添加 `ctx-per-slot` 参数以更细粒度地管理统一 KV 缓存分配。
  • 将 ctx 比例替换为 ctx 池槽位,以改进内存管理逻辑。
  • 移除已弃用的 `ctx-pool-slots` 参数,并将 `ctx-per-slot` 转换为整数类型。
  • 包含由 Xuan Son Nguyen 进行的一般格式清理和代码重构。

此更新使用户能够在统一 KV 缓存系统的多个槽位之间更精细地控制上下文窗口分布。