Together AIは、チームが生きているエンドポイントでA/B実験を実行し、コントロールと最大20種類の変種間でトラフィックを分割して、候補モデルのパフォーマンスを実際のユーザーで測定できるプラットフォーム機能を提供しました。

  • 実験はエンドポイントに付随し、コントロールのトラフィックシェアを各腕に細分化する一方で、ベースの分割において変種のデプロイメントがゼロのウェイトを持つことを要求します。
  • トラフィックシェアはレプリカ数とは無関係な固定パーセンテージであり、オートスケーリングに関わらず一貫した測定を保証します。
  • ランプアップはetagガード付きでメンバーセットを更新することで処理され、サイレントな上書きを防ぎ、最大20種類の変種によるマルチウェイテストを可能にします。
  • プラットフォームはデプロイメントごとのインフラメトリクスを提供し、ユーザーにはレスポンスメタデータと自社の製品品質信号を結合するよう要求します。
  • 実験は、ブルーグリーン展開で勝者を昇格させるか、実験を削除してすべてのトラフィックをコントロールに戻すことで終了できます。

この機能により、チームは新しいモデルがユーザーの維持率やタスク完了率を改善するかどうかを判断でき、実験終了後にドリフトしたり残ったりする可能性がある手動のクライアントサイドルーティングロジックの落とし穴を回避できます。