Together AI a introduit les déploiements Canary, une fonctionnalité qui migre le trafic en direct d'un modèle actuel vers un nouveau checkpoint par étapes avec des portes (gates). Ce système automatise le mécanisme de sécurité pour l'échange de modèles en exécutant des vérifications de santé et des portes de métriques optionnelles avant de déplacer le trafic, permettant des pauses et des annulations automatiques si les performances se dégradent.
Le déploiement prend en charge trois stratégies : Canary (augmentations par paliers de pourcentage), Blue-green (changement unique) et Rolling (échange réplique par réplique). Chaque étape suit une séquence stricte : la cible monte en puissance, les portes de santé vérifient la disponibilité, le trafic bascule après un délai de propagation, et la source ne se vide qu'après que la capacité a été dépassée. Les portes de métriques peuvent surveiller la latence du routeur, les taux d'erreur ou les requêtes en cours pour prévenir les régressions.
Les utilisateurs peuvent gérer les déploiements via CLI, REST API ou Python SDK, en les créant dans un état PENDING avant de les démarrer explicitement. La plateforme garantit qu'aucun trafic n'est laissé dans l'incertitude en terminant les déploiements comme COMPLETED ou CANCELED, ce dernier permettant un déploiement inversé pour restaurer l'état précédent.