A Together AI introduziu lançamentos Canary, um recurso que migra o tráfego ativo de um modelo atual para uma nova verificação em etapas com controle de acesso. Este sistema automatiza o mecanismo de segurança para troca de modelos executando verificações de integridade e portas de métricas opcionais antes de mover o tráfego, permitindo pausas e reversões automáticas se o desempenho degradar.
O lançamento suporta três estratégias: Canary (aumentos percentuais em etapas), Blue-green (mudança única) e Rolling (troca réplica por réplica). Cada etapa segue uma sequência estrita: o destino escala, as portas de integridade verificam a prontidão, o tráfego muda após um atraso de propagação e a fonte drena apenas após a liderança da capacidade. As portas de métricas podem monitorar latência do roteador, taxas de erro ou solicitações em andamento para evitar regressões.
Os usuários podem gerenciar lançamentos via CLI, REST API ou Python SDK, criando-os em estado PENDING antes de iniciá-los explicitamente. A plataforma garante que nenhum tráfego fique em limbo encerrando os lançamentos como COMPLETED ou CANCELED, sendo que este último permite um lançamento reverso para restaurar o estado anterior.