Together AI는 Dedicated Model Inference 플랫폼에 오토스케일링 기능을 추가하여, 인플라이트 요청, 첫 토큰까지의 시간(TTFT), GPU 사용률 등 추론 엔진이 이해하는 지표를 기반으로 배포가 확장되도록 했습니다.

  • 시스템은 스케일업과 스케일다운을 관리하기 위해 구성 가능한 복리카 한계와 타이밍 윈도우를 사용하는 비례 제어 루프를 사용합니다.
  • 사용자는 동시성 기반(예: inflight_requests), SLO 기반(예: ttft), 효율성 기반(예: gpu_utilization)으로 분류된 8가지 지표 중에서 선택할 수 있습니다.
  • 동시성 기반 지표는 지연 시간이 저하되기 전 부하의 선도 지표 역할을 하기 때문에 기본값으로 권장됩니다.
  • 플랫폼은 자동 스케일 투 제로를 지원하지 않으며, min과 max 복리카를 명시적으로 0으로 설정하면 배포가 중단됩니다.
  • Qwen3.5-9B 모델을 사용한 실험 결과, 트래픽 급증 시 inflight_requests 지표만이 성공적으로 확장된 반면, TTFT와 GPU 사용률 정책은 반응하지 못했습니다.

오토스케일링은 유휴 GPU의 과잉 프로비저닝과 피크 트래픽 동안 심각한 지연 시간 저하를 초래하는 과소 프로비저닝을 방지함으로써 비용과 성능 사이의 균형을 맞춥니다.