Together 提供了一套框架，帮助企业通过托管服务从闭源 AI 模型迁移到开源模型（OSM），旨在降低复杂性并加速采用。该过程包括通过基准测试发现合适的模型、通过流量回放进行评估、调整提示词或权重，以及计算投资回报率以证明切换的合理性。

  • 发现阶段依赖于定义用例，并使用 LMArena 和 FrontierCode 等基准测试筛选候选模型。
  • 评估优先考虑真实数据流量回放而非通用排行榜，以评估准确性和每任务成本等性能指标。
  • 适配涉及迭代调整系统提示词、采样参数或微调模型权重，以匹配闭源模型的质量。
  • 投资回报率计算可显示高达 70% 的成本降低，帮助利益相关者基于可量化的价值批准迁移。
  • 生产部署通常从 10% 流量的金丝雀部署开始，在全面采用之前验证稳定性。

这种方法使公司能够利用托管服务和迭代测试，绕过传统的缓慢迁移周期，实现更快、风险更低的过渡。