Together AIは、GPU推論において異なる信頼性ティアを実現するために必要な具体的なアーキテクチャ要件を詳述し、標準的なSLAの数値が実際にカバーされる障害ドメインを隠蔽していることが多いと主張しています。

  • 99%の稼働率には、単一のデータセンター内での自動ヘルスチェックと迅速なレプリカ置換を通じて、GPUハードウェアの故障やドライバーのクラッシュなどのノードレベルの障害への耐性が求められます。
  • 99.9%の稼働率には、完全なデータセンターの障害からの生存が要求され、コールドスタンバイではなくライブトラフィックルーティングにより2つの施設にモデル重みがデプロイされる必要があります。
  • 99.99%の稼働率には、可用性ゾーンの冗長性と、完全なリージョンのアウトタイムを吸収するために適切なサイズで予約されたフェイルオーバー容量を備えたマルチリージョンデプロイメントが求められます。

記事は、インフラストラクチャの所有権が重要であると強調しています。ハイパースケラーからレンタルするプロバイダーは電源や冷却レイヤーを制御できないため、迅速な復旧には直接的なハードウェアの可視性が不可欠です。