Together AIは、Dedicated Model Inferenceプラットフォームに自動スケーリング機能を追加し、実行中のリクエスト、初回トークンまでの時間（TTFT）、GPU使用率など、推論エンジンが理解するメトリクスに基づいてデプロイメントをスケーリングできるようになった。

  • システムは、構成可能なレプリカ範囲とタイミングウィンドウを持つ比例制御ループを使用して、スケールアップとスケールダウンを管理する。
  • ユーザーは、同時実行駆動型（例：inflight_requests）、SLO駆動型（例：ttft）、効率駆動型（例：gpu_utilization）に分類された8つのメトリクスから選択できる。
  • 同時実行駆動型メトリクスは、レイテンシが劣化する前に負荷の先行指標となるため、デフォルトとして推奨されている。
  • プラットフォームはゼロへの自動スケーリングをサポートしていません。minおよびmaxレプリカを明示的に0に設定すると、デプロイメントが停止します。
  • Qwen3.5-9Bモデルでの実験では、トラフィックの急増時にinflight_requestsメトリクスのみが正常にスケーリングし、TTFTとGPU使用率ポリシーは反応しなかったことが示された。

自動スケーリングは、アイドル状態のGPUの過剰プロビジョニングや、ピーク時の深刻なレイテンシ劣化を引き起こす不足プロビジョニングを防ぐことで、コストとパフォーマンスのバランスを取ります。