Together AI는 팀이 라이브 엔드포인트에서 A/B 실험을 수행하고, 제어군과 최대 20개 변형 간에 트래픽을 분할하여 실제 사용자와의 상호작용으로 후보 모델 성능을 측정할 수 있는 플랫폼 기능을 도입했습니다.

  • 실험은 엔드포인트에 연결되며, 제어군의 트래픽 분할 비율을 팔 간에 세분화하고 베이스 분할에서 변형 배포가 0의 가중치를 갖도록 요구합니다.
  • 트래픽 분할 비율은 복제본 수와 무관한 고정된 백분율이며, 오토스케일링 여부와 관계없이 일관된 측정을 보장합니다.
  • 라핑은 etag 감지를 사용하여 멤버 집합을 업데이트함으로써 처리되며, 이는 정적 덮어쓰기를 방지하고 최대 20개 변형까지 다중 방식 테스트를 가능하게 합니다.
  • 플랫폼은 배포별 인프라 메트릭스를 제공하며, 사용자에게 응답 메타데이터와 자체 제품 품질 신호를 결합하도록 요구합니다.
  • 실험은 승자를 블루-그린 롤아웃으로 승격하거나 실험을 삭제하여 모든 트래픽을 제어군으로 되돌려 종료할 수 있습니다.

이 기능은 팀이 새로운 모델이 사용자 유지율이나 작업 완료율을 개선하는지 결정할 수 있게 하며, 실험 종료 후에도 드리프트되거나 지속될 수 있는 수동 클라이언트 측 라우팅 로직의 함정을 피합니다.