Together AI подробно описывает специфические архитектурные требования, необходимые для достижения различных уровней надежности при GPU-инференсе, утверждая, что стандартные показатели SLA часто скрывают реальные домены отказов.

  • 99% времени безотказной работы требует выдерживать сбои на уровне узлов, такие как аппаратные неисправности GPU или сбои драйверов, за счет автоматической проверки состояния и быстрой замены реплик в пределах одного дата-центра.
  • 99.9% времени безотказной работы требует выдерживать полные отказы дата-центров, что necessitates развертывание весов модели в двух объектах с маршрутизацией живого трафика, а не холодным резервированием.
  • 99.99% времени безотказной работы требует многорегионального развертывания с избыточностью зон доступности и зарезервированной емкостью для аварийного переключения, достаточной для поглощения полного регионального отключения.

В статье подчеркивается, что владение инфраструктурой имеет решающее значение, поскольку провайдеры, арендующие ресурсы у гиперскейлеров, не могут контролировать уровни электропитания или охлаждения, что делает прямой доступ к аппаратному обеспечению необходимым для быстрого восстановления.