Together AI telah memperkenalkan fitur platform yang memungkinkan tim menjalankan eksperimen A/B pada endpoint langsung, membagi lalu lintas antara kontrol dan hingga 20 varian untuk mengukur kinerja model kandidat dengan pengguna nyata.
- Eksperimen melekat pada endpoint, membagi-bagi bagian lalu lintas kontrol di antara lengan sambil memerlukan penyebaran varian memiliki bobot nol dalam pembagian dasar.
- Bagian lalu lintas adalah persentase tetap yang independen dari jumlah replika, memastikan pengukuran konsisten terlepas dari autoscaling.
- Ramping ditangani dengan memperbarui set anggota dengan pengawal etag untuk mencegah penimpaan diam-diam, memungkinkan pengujian multi-cara dengan hingga 20 varian.
- Platform menyediakan metrik infrastruktur per-penyebaran dan memerlukan pengguna untuk menggabungkan metadata respons dengan sinyal kualitas produk mereka sendiri.
- Eksperimen dapat diakhiri dengan mempromosikan pemenang melalui penyebaran biru-hijau atau menghapus eksperimen untuk mengembalikan semua lalu lintas ke kontrol.
Fitur ini memungkinkan tim menentukan apakah model baru meningkatkan retensi pengguna atau tingkat penyelesaian tugas, menghindari jebakan logika pengalihan sisi klien manual yang dapat menyimpang atau bertahan setelah eksperimen berakhir.