OpenAI 为 GPT-6 系列推出了改进的提示缓存系统，默认情况下提供更高的缓存命中率，并对缓存输入令牌提供高达 90% 的折扣。此次更新引入了新工具，帮助开发者监控性能、诊断未命中情况并优化其集成。

  • 在 30 分钟窗口内重用的符合条件的共享前缀现在可享受缓存折扣。
  • Prompt Caching Dashboard 允许跟踪随时间变化的命中率，并比较缓存与未缓存的令牌。
  • 诊断工具有助于识别导致缓存未命中的原因，例如工具或设置的更改。
  • 显式缓存断点让开发者可以选择特定的提示前缀进行重用。
  • 通过配置更新，可以在响应之间调整推理力度，而不会破坏缓存。
  • 预热功能允许提前准备已知上下文，以降低延迟。

这些功能通过最大化跨 API 请求的共享指令、工具定义和上下文的复用，帮助持久化代理运行得更快且成本更低。