출처 · Together AI Blog
media Together AI Blog · 9일 전 · 조회수 15회

Together AI, 중단 시간 없이 프로덕션에서 모델을 업그레이드하기 위한 Canary 롤아웃 도입

Together AI는 현재 모델의 라이브 트래픽을 게이트된 단계로 새 체크포인트로 마이그레이션하는 기능인 Canary 롤아웃을 도입했습니다. 이 시스템은 트래픽 이동 전에 헬스 체크와 선택적 메트릭 게이트를 실행하여 모델 교체에 대한 안전 장치를 자동화하며, 성능이 저하될 경우 자동으로 일시 중지하고 되돌릴 수 있습니다.

media Together AI Blog · 14일 전 · 조회수 20회

Together, 폐쇄형에서 오픈소스 모델로의 마이그레이션 전략 제시

Together는 관리형 서비스를 활용하여 기업이 폐쇄형 AI 모델에서 오픈소스 모델(OSM)로 마이그레이션할 수 있는 프레임워크를 제공하며, 복잡성을 줄이고 채택을 가속화하는 것을 목표로 합니다. 이 과정에는 벤치마크를 통해 적합한 모델을 발견하고, 트래픽 리플레이를 통해 평가하며, 프롬프트나 가중치를 조정하고, 전환의 정당성을 위해 ROI를 계산하는 것이 포함됩니다.