OpenAIは、デフォルトでより高いキャッシュヒット率を提供し、キャッシュされた入力トークンに対して最大90%の割引を提供するGPT-6ファミリー向けの改善されたプロンプトキャッシングシステムをリリースしました。このアップデートにより、開発者がパフォーマンスを監視し、ミス（未ヒット）を診断し、統合を最適化するための新しいツールが導入されました。

  • キャッシュ割引は、30分以内のウィンドウ内で再利用される対象となる共有プレフィックスに適用されるようになりました。
  • Prompt Cachingダッシュボードにより、時間経過に伴うヒット率を追跡し、キャッシュされたトークンと未キャッシュのトークンを比較できます。
  • 診断ツールは、ツールや設定の変更など、キャッシュミス（未ヒット）の原因を特定するのに役立ちます。
  • 明示的なキャッシュブレイクポイントにより、開発者は再利用する特定のプロンプトプレフィックスを選択できます。
  • 構成の更新を使用して、キャッシュを壊すことなくレスポンス間で推論の努力度を調整できます。
  • プリウォーミング機能により、既知のコンテキストを事前に準備してレイテンシを削減できます。

これらの機能は、共有指示、ツール定義、およびAPIリクエスト全体でのコンテキストの再利用を最大化することで、永続的なエージェントの実行速度を向上させ、コストを削減するのに役立ちます。