Together AI telah memperkenalkan Canary rollouts, sebuah fitur yang memigrasikan lalu lintas langsung dari model saat ini ke checkpoint baru dalam langkah-langkah bertahap. Sistem ini mengotomatisasi mekanisme keamanan untuk pergantian model dengan menjalankan pemeriksaan kesehatan dan gerbang metrik opsional sebelum mengalihkan lalu lintas, memungkinkan jeda dan pembalikan otomatis jika kinerja menurun.
Rollout mendukung tiga strategi: Canary (peningkatan persentase bertahap), Blue-green (pergantian satu langkah), dan Rolling (pergantian replika demi replika). Setiap langkah mengikuti urutan ketat: target melakukan skala up, gerbang kesehatan memverifikasi kesiapan, lalu lintas beralih setelah penundaan propagasi, dan sumber hanya dikuras setelah kapasitas tercapai. Gerbang metrik dapat memantau latensi router, tingkat kesalahan, atau permintaan yang sedang berjalan untuk mencegah regresi.
Pengguna dapat mengelola rollouts melalui CLI, REST API, atau Python SDK, membuatnya dalam status PENDING sebelum secara eksplisit memulai. Platform memastikan tidak ada lalu lintas yang tertinggal dengan mengakhiri rollouts sebagai COMPLETED atau CANCELED, yang terakhir memungkinkan rollback untuk memulihkan keadaan sebelumnya.