Together 已对其推理平台发布重大更新，推出“专用模型推理”功能，旨在让用户完全掌控开源权重模型的性能、成本和质量。此次更新还宣布了自定义训练能力的封闭公测，包括全参数和 LoRA 强化学习。

  • 部署支持金丝雀、蓝绿和滚动更新，并在阈值突破时自动回滚。
  • A/B 测试和影子测试允许在不影响用户的情况下，用真实流量评估新权重。
  • 模型缓存和分发层已重建，可实现约 4 倍的冷启动加速。
  • 自动扩缩容支持飞行中请求、GPU 利用率和首 token 时间等指标。
  • 自定义训练公测包括监督微调，生成的检查点可直接部署至生产环境。

该平台旨在通过处理部署生命周期管理和可观测性，简化从实验到生产的过渡，使团队能够安全地每周迭代模型版本。