Together telah merilis pembaruan signifikan untuk platform inferensinya, memperkenalkan "Inferensi Model Dedikasi" yang dirancang untuk memberikan pengguna kendali penuh atas kinerja, biaya, dan kualitas untuk model bobot terbuka. Pembaruan ini juga mengumumkan beta tertutup untuk kemampuan pelatihan kustom, termasuk pembelajaran penguatan dengan bobot penuh dan LoRA.
- Dukungan penyiapan mencakup pembaruan canary, biru-hijau, dan bergulir dengan rollback otomatis saat ambang batas terlampaui.
- Pengujian A/B dan bayangan memungkinkan evaluasi bobot baru terhadap lalu lintas nyata tanpa memengaruhi pengguna.
- Lapisan caching dan distribusi model dibangun ulang untuk memberikan awal hangat sekitar 4× lebih cepat.
- Skala otomatis mendukung metrik seperti permintaan yang sedang berjalan, utilisasi GPU, dan waktu hingga token pertama.
- Beta pelatihan kustom mencakup penyetelan halus terawasi dengan titik pemeriksaan yang dapat diimplementasikan langsung ke produksi.
Platform ini bertujuan menyederhanakan transisi dari eksperimen ke produksi dengan mengelola siklus hidup penyiapan dan observabilitas, memungkinkan tim untuk melakukan iterasi pada versi model secara mingguan dengan aman.