OpenAI는 기본값으로 더 높은 캐시 히트율을 제공하고 캐시된 입력 토큰에 최대 90% 할인을 제공하는 GPT-6 시리즈용 개선된 프롬프트 캐싱 시스템을 출시했습니다. 이 업데이트는 개발자가 성능을 모니터링하고, 미스 원인을 진단하며, 통합을 최적화할 수 있는 새로운 도구를 도입합니다.
- 캐시 할인은 이제 30분 시간 창 내에서 재사용되는 대상 공유 접두사에 적용됩니다.
- 프롬프트 캐싱 대시보드는 시간 경과에 따른 히트율을 추적하고 캐시된 토큰과 비캐시된 토큰을 비교할 수 있게 합니다.
- 진단 도구는 도구 또는 설정 변경과 같은 캐시 미스 원인을 파악하는 데 도움을 줍니다.
- 명시적 캐시 브레이크포인트를 통해 개발자는 재사용할 특정 프롬프트 접두사를 선택할 수 있습니다.
- 구성 업데이트를 사용하여 응답 간 추론 노력을 조정하면서도 캐시를 유지할 수 있습니다.
- 프리워밍 기능을 통해 알려진 컨텍스트를 사전에 준비하여 지연 시간을 줄일 수 있습니다.
이러한 기능은 공유 지시사항, 도구 정의 및 컨텍스트의 재사용을 극대화하여 지속형 에이전트의 실행 속도를 높이고 비용을 절감하는 데 도움을 줍니다.