Together AI 推出了一项平台功能，允许团队在实时端点上运行 A/B 实验，将流量分配给对照组和最多 20 个变体，以衡量候选模型在真实用户中的表现。

  • 实验绑定到端点，将对照组的流量份额细分至各臂，同时要求变体部署在基础拆分中的权重为零。
  • 流量份额是固定百分比，与副本数量无关，确保无论自动扩缩容如何，测量结果保持一致。
  • 流量爬坡通过更新成员集并配合 etag 保护机制来防止静默覆盖，从而支持最多 20 个变体的多路测试。
  • 该平台提供每个部署的基础设施指标，并要求用户将响应元数据与其自身的产品质量信号进行关联。
  • 实验可通过蓝绿部署提升获胜者，或删除实验将所有流量返回对照组来结束。

该功能使团队能够确定新模型是否提升了用户留存率或任务完成率，避免了手动客户端路由逻辑可能出现的漂移或在实验结束后持续存在的问题。