Togetherは、エンタープライズが管理型サービスを使用してクローズドソースのAIモデルからオープンソースモデル（OSM）へ移行するためのフレームワークを提供しており、複雑さを軽減し採用を加速することを目指しています。このプロセスには、ベンチマークを通じて適切なモデルを発見し、トラフィックリプレイで評価し、プロンプトや重みを適応させ、ROIを計算して切り替えを正当化することが含まれます。

  • 発見は、ユースケースの定義とLMArenaやFrontierCodeなどのベンチマークを使用して候補をフィルタリングすることに依存します。
  • 評価では、一般的なリーダーボードよりもリアルデータのトラフィックリプレイを優先し、コスト毎タスクなどの精度とパフォーマンス指標を評価します。
  • 適応には、クローズドソースの品質に一致させるためにシステムプロンプト、サンプリングパラメータ、またはモデル重みの反復的なチューニングが含まれます。
  • ROIの計算では最大70%のコスト削減を示すことができ、定量化可能な価値に基づいて移行を承認する利害関係者を支援します。
  • 本番環境への展開は、完全な採用の前に安定性を検証するために10%のトラフィックのカナリーデプロイメントから始まることが多いです。

このアプローチにより、企業は管理型サービスと反復的なテストを活用して、従来の遅い移行サイクルを回避し、より高速でリスクの低い移行を実現できます。