Together AI telah menambahkan kemampuan autoscaling ke platform Dedicated Model Inference-nya, memungkinkan deployment diskalakan berdasarkan metrik yang dipahami oleh mesin inferensi, seperti permintaan yang sedang berjalan (in-flight requests), waktu hingga token pertama (TTFT), dan utilisasi GPU.
- Sistem ini menggunakan loop kontrol proporsional dengan batas replika dan jendela waktu yang dapat dikonfigurasi untuk mengelola peningkatan dan penurunan skala.
- Pengguna dapat memilih dari delapan metrik, yang dikategorikan sebagai berbasis konkurensi (misalnya, inflight_requests), berbasis SLO (misalnya, ttft), atau berbasis efisiensi (misalnya, gpu_utilization).
- Metrik berbasis konkurensi direkomendasikan sebagai default karena berfungsi sebagai indikator awal beban sebelum latensi memburuk.
- Platform ini tidak mendukung autoscaling otomatis hingga nol; menetapkan replika minimum dan maksimum menjadi 0 secara eksplisit menghentikan deployment.
- Eksperimen dengan model Qwen3.5-9B menunjukkan bahwa hanya metrik inflight_requests yang berhasil melakukan diskalakan selama lonjakan lalu lintas, sementara kebijakan TTFT dan utilisasi GPU gagal bereaksi.
Autoscaling membantu menyeimbangkan biaya dan kinerja dengan mencegah kelebihan provisioning GPU menganggur dan kekurangan provisioning yang menyebabkan degradasi latensi parah selama lalu lintas puncak.