Together AI는 GPU 추론을 위해 서로 다른 신뢰성 티어에 도달하는 데 필요한 구체적인 아키텍처 요구 사항을 상세히 설명하며, 표준 SLA 수치가 실제로 커버되는 장애 도메인을 종종 숨긴다고 주장합니다.
- 99% 가동 시간에는 단일 데이터 센터 내에서 GPU 하드웨어 고장이나 드라이버 크래시와 같은 노드 수준 장애를 자동 건강 검사 및 빠른 복제본 교체로 견디는 것이 필요합니다.
- 99.9% 가동 시간에는 전체 데이터 센터 장애로부터 생존해야 하므로, 콜드 스탠바이가 아닌 라이브 트래픽 라우팅을 통해 두 시설에 모델 가중치를 배포해야 합니다.
- 99.99% 가동 시간에는 가용성 영역 중복성과 전체 지역 장애를 흡수할 수 있도록 크기가 조정된 예약된 페일오버 용량을 갖춘 멀티 리전 배포가 필요합니다.
이 기사는 인프라 소유권이 중요하다고 강조하며, 하이퍼스케일러로부터 임대하는 제공자는 전원이나 냉각 레이어를 제어할 수 없으므로 빠른 복구를 위한 직접적인 하드웨어 가시성이 필수적이라고 말합니다.