Together AI 详细介绍了实现不同 GPU 推理可靠性层级所需的具体架构要求，并指出标准的 SLA 数字往往掩盖了实际覆盖的故障域。

  • 99% 的正常运行时间要求通过自动健康检查和单个数据中心内的快速副本替换，来承受节点级故障（如 GPU 硬件故障或驱动程序崩溃）。
  • 99.9% 的正常运行时间要求能够承受整个数据中心的故障，这需要模型权重部署在两个设施中，并采用实时流量路由而非冷备用。
  • 99.99% 的正常运行时间要求多区域部署，具备可用区冗余，并预留足够容量的故障转移能力以吸收完全的区域性中断。

文章强调基础设施的所有权至关重要，因为向超大规模云厂商租赁资源的提供商无法控制电源或冷却层，因此对硬件的直接可见性对于快速恢复是必不可少的。