Together AI는 현재 모델의 라이브 트래픽을 게이트된 단계로 새 체크포인트로 마이그레이션하는 기능인 Canary 롤아웃을 도입했습니다. 이 시스템은 트래픽 이동 전에 헬스 체크와 선택적 메트릭 게이트를 실행하여 모델 교체에 대한 안전 장치를 자동화하며, 성능이 저하될 경우 자동으로 일시 중지하고 되돌릴 수 있습니다.
롤아웃은 세 가지 전략을 지원합니다: Canary(단계별 비율 증가), Blue-green(단일 단계 전환), Rolling(복제본별 교체). 각 단계는 엄격한 순서를 따릅니다: 대상이 확장되고, 헬스 게이트가 준비 상태를 확인하며, 전파 대기 후 트래픽이 이동하고, 용량이 확보된 후에야 소스가 종료됩니다. 메트릭 게이트는 라우터 지연 시간, 오류율 또는 처리 중인 요청을 모니터링하여 성능 저하를 방지할 수 있습니다.
사용자는 CLI, REST API 또는 Python SDK를 통해 롤아웃을 관리할 수 있으며, 명시적으로 시작하기 전에 PENDING 상태로 생성합니다. 플랫폼은 롤아웃을 COMPLETED 또는 CANCELED로 종료하여 트래픽이 중단되지 않도록 하며, 후자의 경우 이전 상태로 복원하기 위해 역방향 롤아웃을 허용합니다.