Together는 관리형 서비스를 활용하여 기업이 폐쇄형 AI 모델에서 오픈소스 모델(OSM)로 마이그레이션할 수 있는 프레임워크를 제공하며, 복잡성을 줄이고 채택을 가속화하는 것을 목표로 합니다. 이 과정에는 벤치마크를 통해 적합한 모델을 발견하고, 트래픽 리플레이를 통해 평가하며, 프롬프트나 가중치를 조정하고, 전환의 정당성을 위해 ROI를 계산하는 것이 포함됩니다.

  • 발견 단계에서는 사용 사례를 정의하고 LMArena 및 FrontierCode와 같은 벤치마크를 사용하여 후보를 필터링합니다.
  • 평가는 일반적인 리더보드보다 실제 데이터 트래픽 리플레이를 우선시하여 비용 per task와 같은 정확도 및 성능 지표를 평가합니다.
  • 적응 과정에는 폐쇄형 모델의 품질에 맞추기 위해 시스템 프롬프트, 샘플링 매개변수 또는 모델 가중치의 반복적 튜닝이 포함됩니다.
  • ROI 계산은 최대 70%의 비용 절감을 보여줄 수 있으며, 이는 이해관계자들이 정량화 가능한 가치를 바탕으로 마이그레이션을 승인하는 데 도움이 됩니다.
  • 프로덕션 롤아웃은 종종 전체 채택 전에 안정성을 검증하기 위해 10% 트래픽의 카나리 배포로 시작됩니다.

이 접근 방식은 관리형 서비스와 반복적 테스트를 활용하여 기업들이 전통적인 느린 마이그레이션 주기를 우회하고 더 빠르고 위험이 낮은 전환을 달성할 수 있게 합니다.