Together는 오픈 가중치 모델에 대한 성능, 비용 및 품질에 대한 완전한 제어권을 사용자에게 제공하도록 설계된 "전용 모델 추론"을 도입하여 추론 플랫폼에 상당한 업데이트를 출시했습니다. 이 업데이트에는 풀 가중치와 LoRA 강화 학습을 포함한 커스텀 트레이닝 기능의 클로즈드 베타도 발표되었습니다.

  • 배포는 임계값 위반 시 자동 롤백과 함께 카나리, 블루-그린 및 롤링 업데이트를 지원합니다.
  • A/B 테스트와 섀도 테스트는 사용자에게 영향을 주지 않으면서 실제 트래픽에 대한 새로운 가중치를 평가할 수 있게 합니다.
  • 모델 캐싱 및 분산 레이어가 재구축되어 약 4배 빠른 웜 시작을 제공합니다.
  • 오토스케일링은 inflight 요청, GPU 활용도, 첫 번째 토큰까지의 시간과 같은 메트릭을 지원합니다.
  • 커스텀 트레이닝 베타에는 체크포인트가 프로덕션에 직접 배포 가능한 지도 학습 미세 조정이 포함됩니다.

이 플랫폼은 배포 수명 주기 관리와 관찰성을 처리하여 실험에서 프로덕션으로의 전환을 간소화하고, 팀이 모델 버전을 매주 안전하게 반복할 수 있도록 합니다.