Together AI 推出了金丝雀发布功能,该功能通过分阶段步骤将实时流量从当前模型迁移到新的检查点。该系统通过在转移流量之前运行健康检查和可选指标门控,自动执行模型切换的安全机制,从而在性能下降时允许自动暂停和回滚。

该发布支持三种策略:金丝雀(分阶段百分比增加)、蓝绿(单步切换)和滚动(逐个副本交换)。每个步骤遵循严格序列:目标扩容,健康门控验证就绪状态,经过传播等待后转移流量,源端仅在容量领先时排空。指标门控可监控路由器延迟、错误率或进行中请求,以防止回退。

用户可以通过 CLI、REST API 或 Python SDK 管理发布,在显式启动之前以 PENDING 状态创建它们。平台通过以 COMPLETED 或 CANCELED 结束发布来确保没有流量处于悬空状态,其中后者允许反向发布以恢复先前状态。