ローカルAIハーネスOpenFoxの開発者は、「speculative cache warming」と呼ばれる機能を導入し、ユーザーが入力中にシステムプロンプトとツール配列を処理するようになった。この最適化により、実際のプロンプトが送信される前にモデルが静的なコンテキストデータの処理を開始でき、新しいセッション開始時のレイテンシーを実質的に削減する。

  • システムプロンプト（AGENTS.mdと設定を含む）とツール配列は、入力中にバックグラウンドで処理される。
  • ユーザーがプロンプトを送信すると、LLMが処理するのは残りのプロンプトテキストのみになる。
  • 1秒あたり500トークンの処理速度の場合、この方法で約10〜20秒の待機時間を節約できる。

この変更により、ローカルLLMとの対話がよりレスポンシブになり、新しいセッションの初期化に伴うアイドル時間が削減される。