llama.cpp 项目发布了版本 b9908，引入了对服务器提示缓存 RAM 使用的硬性限制。此前，在保存操作期间保留条目时，缓存可能会暂时超过指定限制。

  • --cache-ram 标志现在会严格防止在超出 RAM 限制时保存状态。
  • 旧缓存条目会根据需要被驱逐，以腾出空间容纳新条目。
  • 令牌限制清理现在可以驱逐最后剩余的缓存条目，而不是保留一个。
  • 此版本中禁用了 macOS Apple Silicon KleidiAI 支持。

此更改确保提示缓存更可靠地遵守内存约束，防止临时溢出。