Together AI ha introducido los despliegues Canary, una función que migra el tráfico en vivo desde un modelo actual a un nuevo punto de control en pasos con compuerta. Este sistema automatiza el mecanismo de seguridad para intercambiar modelos ejecutando comprobaciones de salud y compuertas de métricas opcionales antes de mover el tráfico, lo que permite pausas y reversiones automáticas si el rendimiento se degrada.
El despliegue admite tres estrategias: Canary (aumentos porcentuales escalonados), Blue-green (cambio de un solo paso) y Rolling (intercambio réplica por réplica). Cada paso sigue una secuencia estricta: el destino escala hacia arriba, las compuertas de salud verifican la disponibilidad, el tráfico se desplaza después de una espera de propagación y la fuente se drena solo después de que la capacidad lo permita. Las compuertas de métricas pueden monitorear la latencia del enrutador, las tasas de error o las solicitudes en curso para prevenir regresiones.
Los usuarios pueden gestionar los despliegues a través de CLI, REST API o Python SDK, creándolos en un estado PENDING antes de iniciarlos explícitamente. La plataforma asegura que no quede tráfico en el limbo finalizando los despliegues como COMPLETED o CANCELED, permitiendo este último un despliegue inverso para restaurar el estado anterior.