一位用户正在请求协助优化 llama-server 中的 KV 缓存配置，以缓解在 Strix Halo 系统上运行 Qwen 3.5 122B 等大型模型时的长预填充时间。

  • 用户已配置 --cache-ram 16384、--ctx-checkpoints 72 和 --checkpoint-min-step 4096 来管理 VRAM 和上下文窗口。
  • 在 100k 上下文时完全错过缓存会导致大约 10-20 分钟的预填充时间，这被认为是非常有问题的。
  • 在用户提示之后有时会错过检查点，特别是在 Crush coding agent 或 Codex 等代理工作流中。
  • 较旧的检查点似乎随时间消失，只留下少数活动的上下文检查点，并在较大的错过时导致重新处理。
  • 用户正在考虑 K/V 量化（例如 q8）以可能使可用检查点的数量翻倍，但质疑其对已经处于 q4 的模型质量的影响。

用户希望就微调缓存设置和解决检查点错过问题以获得社区输入，从而在快速代理迭代期间提高性能。