Together AIは、Canary展開という機能を導入しました。これは、ゲート付きの段階的なステップで、現在のモデルから新しいチェックポイントへライブトラフィックを移行する機能です。このシステムは、ヘルスチェックとオプションのメトリックゲートを走行させてトラフィックを移動する前に実行することで、モデルの切り替えにおける安全策を自動化し、パフォーマンスが低下した場合に自動停止や巻き戻しを可能にします。

展開は3つの戦略をサポートしています：Canary（段階的なパーセンテージ増加）、Blue-green（単一ステップでの切り替え）、Rolling（レプリカごとのスワップ）。各ステップは厳格なシーケンスに従います。ターゲットがスケールアップし、ヘルスゲートが準備状態を確認し、伝播待機後にトラフィックがシフトし、容量が先導してからソースがドレインされます。メトリックゲートは、回帰を防ぐためにルーターのレイテンシ、エラーレート、または処理中のリクエストを監視できます。

ユーザーはCLI、REST API、またはPython SDKを通じて展開を管理でき、明示的に開始する前にPENDING状態で作成します。プラットフォームは、展開をCOMPLETEDまたはCANCELEDとして終了することで、トラフィックが宙ぶらりんの状態に残らないようにします。後者では巻き戻し展開が可能で、以前の状態に戻すことができます。