Together AI представила функцию канареечных развертываний (Canary rollouts), которая поэтапно переносит живой трафик с текущей модели на новый чекпоинт. Эта система автоматизирует механизм безопасности при замене моделей, выполняя проверки работоспособности и опциональные контрольные точки по метрикам перед переключением трафика, что позволяет автоматически приостанавливать процесс или откатывать изменения при ухудшении производительности.
Развертывание поддерживает три стратегии: Canary (поэтапное увеличение процента), Blue-green (одиночное переключение) и Rolling (поочередная замена реплик). Каждый шаг следует строгой последовательности: целевая модель масштабируется, контрольные точки работоспособности подтверждают готовность, трафик перенаправляется после ожидания распространения изменений, а исходная модель завершает работу только после того, как емкость целевой превысит ее. Контрольные точки по метрикам могут отслеживать задержку маршрутизатора, частоту ошибок или количество находящихся в обработке запросов для предотвращения регрессий.
Пользователи могут управлять развертываниями через CLI, REST API или Python SDK, создавая их в состоянии PENDING перед явным запуском. Платформа гарантирует, что трафик не останется в подвешенном состоянии, завершая развертывания со статусом COMPLETED или CANCELED; последнее позволяет выполнить обратное развертывание для восстановления предыдущего состояния.