OpenAI запустила улучшенную систему кэширования промптов для семейства GPT-6, которая по умолчанию обеспечивает более высокую частоту попаданий в кэш и предоставляет скидки до 90% на токены входных данных из кэша. Обновление включает новые инструменты для помощи разработчикам в мониторинге производительности, диагностике промахов и оптимизации их интеграций.
- Скидки на кэш теперь применяются к подходящим общим префиксам, повторно используемым в течение 30-минутного окна.
- Панель управления Prompt Caching позволяет отслеживать частоту попаданий во времени и сравнивать токены из кэша и без кэша.
- Инструмент диагностики помогает выявлять причины промахов в кэше, такие как изменения инструментов или настроек.
- Явные точки разрыва кэша позволяют разработчикам выбирать конкретные префиксы промптов для повторного использования.
- Усилия на рассуждение можно корректировать между ответами без нарушения работы кэша с помощью обновлений конфигурации.
- Возможности предварительного нагрева (prewarming) позволяют заранее готовить известный контекст, чтобы снизить задержку.
Эти функции помогают персистентным агентам работать быстрее и дешевле, максимизируя повторное использование общих инструкций, определений инструментов и контекста между запросами API.