llama-server 中的一个错误导致进程重启后的第一个查询丢弃重新水合的 KV 缓存并执行完整的提示词预填充,使保存/恢复功能失效。根本原因是检查点元数据未持久化到磁盘,阻止服务器回滚到有效的缓存位置。

  • 修复方法是在槽位保存和重载期间将检查点元数据持久化到版本化的侧车文件中,并在恢复时重新加载它。
  • 这允许服务器重用缓存状态进行增量查询,而不是重新计算它们。
  • 基准测试显示,与完整预填充相比,增量预填充速度提升约 720 倍,端到端恢复速度提升约 167 倍。
  • 该补丁作为 PR #206 在 llama-cpp-turboquant 分支中可用。

此更改通过确保重启后实际使用缓存状态,恢复了在预算硬件上进行长上下文工作的预期功能。