Together AI ने Canary रोलआउट्स पेश किए हैं, जो एक फीचर है जो गेटेड चरणों में वर्तमान मॉडल से नए चेकपॉइंट पर लाइव ट्रैफिक को माइग्रेट करता है। यह सिस्टम हेल्थ चेक्स और या तो मेट्रिक गेट्स चलाने के द्वारा मॉडल स्विच करने के लिए सुरक्षा तंत्र को स्वचालित करता है, जिससे प्रदर्शन में गिरावट आने पर स्वचालित रूप से रोक और वापसी की जा सकती है।
रोलआउट तीन रणनीतियों का समर्थन करता है: Canary (चरणबद्ध प्रतिशत वृद्धि), Blue-green (एक-चरण कटओवर), और Rolling (प्रति-रिप्लिका स्विप)। प्रत्येक चरण एक सख्त क्रम का पालन करता है: लक्ष्य स्केल अप होता है, हेल्थ गेट्स तैयारी की पुष्टि करते हैं, ट्रैफिक प्रोपागेशन वेट के बाद शिफ्ट होता है, और क्षमता अग्रणी होने के बाद स्रोत ड्रेन होता है। मेट्रिक गेट्स रूटर लेटेंसी, त्रुटि दरों, या इनफ्लाइट रिक्वेस्ट की निगरानी करके रीग्रेशन को रोक सकते हैं।
उपयोगकर्ता CLI, REST API, या Python SDK के माध्यम से रोलआउट्स का प्रबंधन कर सकते हैं, उन्हें PENDING अवस्था में बनाकर स्पष्ट रूप से शुरू करते हैं। प्लेटफ़ॉर्म सुनिश्चित करता है कि कोई भी ट्रैफिक लंबित न रह जाए, रोलआउट्स को COMPLETED या CANCELED के रूप में समाप्त करके, जिसमें अंतिम अवस्था पिछली स्थिति को पुनर्स्थापित करने के लिए एक विपरीत रोलआउट की अनुमति देती है।