该文章提出将记忆存储移至代理推理循环内部,以创建“扩展工作记忆”,并认为延迟由存储的位置决定,而非检索模式。通过使用响应时间约为 100 微秒的进程内存储,系统避免了网络存储的高延迟,后者可将端到端时间增加多达 83 倍。
- 在云端往返时间为 110ms 时,冗余动作从 12 次中的 7.2 次降至进程内速度下的零次。
- 在有限窗口下,四个 GPT-5 级模型的召回率从 0/5 提升至 3.6-4.8/5。
- 存储保持了 100% 的写入持久性(244 次写入中的 244 次保留),所有未命中均归因于代理的读取策略。
- 将进程内存储与小型本地嵌入器配对可降低主导的嵌入成本,使完整操作降至约 40 微秒。
这种方法表明,快速且持续的可用性将记忆转化为扩展工作记忆,与传统外部存储相比,显著提高了召回率和效率。