Together AI a introduit une fonctionnalité de plateforme permettant aux équipes d'exécuter des expériences A/B sur des points de terminaison en direct, en répartissant le trafic entre un témoin et jusqu'à 20 variantes afin de mesurer les performances des modèles candidats avec des utilisateurs réels.
- Les expériences sont attachées à un point de terminaison, subdivisant la part de trafic du témoin parmi les bras tout en exigeant que les déploiements de variantes aient un poids nul dans la répartition de base.
- Les parts de trafic sont des pourcentages fixes indépendants du nombre de réplicas, garantissant une mesure cohérente quel que soit le dimensionnement automatique.
- La progression est gérée par la mise à jour de l'ensemble des membres avec une garde ettag pour éviter les écrasements silencieux, permettant des tests multi-voies avec jusqu'à 20 variantes.
- La plateforme fournit des métriques d'infrastructure par déploiement et exige que les utilisateurs joignent les métadonnées de réponse à leurs propres signaux de qualité produit.
- Les expériences peuvent être terminées en promouvant le gagnant via un déploiement bleu-vert ou en supprimant l'expérience pour rediriger tout le trafic vers le témoin.
Cette fonctionnalité permet aux équipes de déterminer si un nouveau modèle améliore la rétention des utilisateurs ou les taux d'achèvement des tâches, évitant les écueils de la logique de routage côté client manuelle qui peut dériver ou persister après la fin des expériences.