A Together AI detalha os requisitos arquitetônicos específicos necessários para alcançar diferentes níveis de confiabilidade para inferência com GPU, argumentando que os números padrão de SLA frequentemente obscurecem os domínios de falha reais cobertos.
- 99% de tempo de atividade exige sobreviver a falhas em nível de nó, como falhas de hardware da GPU ou travamentos do driver, através de verificação automática de saúde e substituição rápida de réplicas dentro de um único data center.
- 99,9% de tempo de atividade exige sobreviver a falhas completas do data center, necessitando de pesos do modelo implantados em duas instalações com roteamento de tráfego ao vivo em vez de standby frio.
- 99,99% de tempo de atividade exige implantação multi-região com redundância de zona de disponibilidade e capacidade de failover reservada dimensionada para absorver uma interrupção regional completa.
O artigo enfatiza que a propriedade da infraestrutura é crítica, pois provedores que alugam de hiperscalers não podem controlar as camadas de energia ou resfriamento, tornando a visibilidade direta do hardware essencial para uma recuperação rápida.