本記事は、エージェントの推論ループ内にメモリストレージを配置することで「拡張作業記憶」を作成することを提案し、レイテンシーは取得パターンではなくストレージの場所によって決定されると主張しています。約100マイクロ秒で応答するプロセス内ストレージを使用することで、システムはネットワーク化されたストレージの高いレイテンシーを回避し、エンドツーエンドの時間を最大83倍に膨張させるのを防ぎます。

  • 冗長なアクションは、110msのクラウド往復で12件中7.2件だったものが、プロセス内速度ではゼロになります。
  • 制限付きウィンドウ下で4つのGPT-5クラスモデルにおいて、再現率が0/5から3.6-4.8/5に向上します。
  • ストレージは100%の書き込み永続性（244件の書き込みすべて保持）を維持し、すべてのミスはエージェントの読み取りポリシーに起因しました。
  • プロセス内ストレージを小さなローカル埋め込み器と組み合わせることで、支配的な埋め込みコストを削減し、完全な操作を約40マイクロ秒に引き下げます。

このアプローチは、高速で一定の利用可能性がメモリを拡張作業記憶に変換し、従来の外部ストレージと比較して再現率と効率を大幅に改善することを示しています。