Together AI détaille les exigences architecturales spécifiques nécessaires pour atteindre différents niveaux de fiabilité pour l'inférence GPU, arguant que les chiffres SLA standards obscurcissent souvent les domaines de défaillance réellement couverts.
- Un temps de fonctionnement de 99 % nécessite de survivre aux pannes au niveau des nœuds, telles que les défauts matériels GPU ou les plantages de pilotes, grâce à une vérification automatique de l'état de santé et au remplacement rapide des répliques au sein d'un seul centre de données.
- Un temps de fonctionnement de 99,9 % exige de survivre aux pannes complètes du centre de données, nécessitant le déploiement des poids du modèle sur deux installations avec un routage du trafic en direct plutôt qu'une veille à froid.
- Un temps de fonctionnement de 99,99 % nécessite un déploiement multi-régions avec une redondance de zone de disponibilité et une capacité de basculement réservée dimensionnée pour absorber une panne régionale complète.
L'article souligne que la propriété de l'infrastructure est cruciale, car les fournisseurs qui louent auprès d'hyperscalers ne peuvent pas contrôler les couches d'alimentation ou de refroidissement, rendant la visibilité directe du matériel essentielle pour une récupération rapide.