本地 AI 框架 OpenFox 的开发者实现了一个名为“推测性缓存预热”的功能，该功能在用户输入时处理系统提示词和工具数组。此优化允许模型在实际提示词提交之前开始处理静态上下文数据，从而有效减少启动新会话时的延迟。
- 系统提示词（包含 AGENTS.md 和偏好设置）以及工具数组在打字过程中在后台处理。
- 当用户发送提示词时，LLM 只需处理剩余的提示词文本。
- 以每秒 500 个 token 的处理速度，此方法可节省大约 10 到 20 秒的等待时间。
这一更改使与本地 LLM 的交互更加响应迅速，并减少了通常与新会话初始化相关的空闲时间。