Together AI detalla los requisitos arquitectónicos específicos necesarios para lograr diferentes niveles de confiabilidad en la inferencia con GPU, argumentando que los números estándar de SLA a menudo ocultan los dominios de falla reales cubiertos.
- El 99% de tiempo de actividad requiere sobrevivir a fallas a nivel de nodo, como fallos de hardware de GPU o cuelgues del controlador, mediante verificación automática de salud y reemplazo rápido de réplicas dentro de un solo centro de datos.
- El 99.9% de tiempo de actividad exige sobrevivir a fallas completas del centro de datos, lo que requiere pesos del modelo desplegados en dos instalaciones con enrutamiento de tráfico en vivo en lugar de reserva fría.
- El 99.99% de tiempo de actividad requiere implementación multi-región con redundancia de zona de disponibilidad y capacidad de failover reservada dimensionada para absorber un corte regional completo.
El artículo enfatiza que la propiedad de la infraestructura es crítica, ya que los proveedores que alquilan a hiperscalers no pueden controlar las capas de energía o refrigeración, haciendo esencial la visibilidad directa del hardware para una recuperación rápida.