Together AI ha introducido una función de plataforma que permite a los equipos ejecutar experimentos A/B en puntos finales activos, dividiendo el tráfico entre un control y hasta 20 variantes para medir el rendimiento del modelo candidato con usuarios reales.

  • Los experimentos se adjuntan a un punto final, subdividiendo la cuota de tráfico del control entre los brazos mientras requiere que las implementaciones de la variante tengan peso cero en la división base.
  • Las cuotas de tráfico son porcentajes fijos independientes del número de réplicas, asegurando una medición consistente independientemente del escalado automático.
  • El aumento se maneja actualizando el conjunto de miembros con un guardián etag para evitar sobrescrituras silenciosas, permitiendo pruebas multi-vía con hasta 20 variantes.
  • La plataforma proporciona métricas de infraestructura por implementación y requiere que los usuarios unan los metadatos de respuesta con sus propias señales de calidad del producto.
  • Los experimentos pueden finalizar promoviendo al ganador mediante una implementación azul-verde o eliminando el experimento para devolver todo el tráfico al control.

Esta función permite a los equipos determinar si un nuevo modelo mejora la retención de usuarios o las tasas de finalización de tareas, evitando las trampas de la lógica de enrutamiento del lado del cliente manual que puede desviarse o persistir después de que terminan los experimentos.