Together AI merinci persyaratan arsitektur spesifik yang diperlukan untuk mencapai tingkat keandalan berbeda untuk inferensi GPU, dengan berargumen bahwa angka SLA standar sering kali menutupi domain kegagalan aktual yang dicakup.
- Uptime 99% memerlukan ketahanan terhadap kegagalan tingkat node seperti kesalahan perangkat keras GPU atau crash driver melalui pemeriksaan kesehatan otomatis dan penggantian replika cepat dalam satu pusat data.
- Uptime 99,9% menuntut ketahanan terhadap kegagalan pusat data penuh, necessitating deployment bobot model di dua fasilitas dengan routing lalu lintas langsung alih-alih standby dingin.
- Uptime 99,99% memerlukan deployment multi-wilayah dengan redundansi zona ketersediaan dan kapasitas failover yang dipesan yang disesuaikan untuk menyerap gangguan wilayah lengkap.
Artikel tersebut menekankan bahwa kepemilikan infrastruktur sangat penting, karena penyedia yang menyewa dari hyperscaler tidak dapat mengontrol lapisan daya atau pendingin, sehingga visibilitas perangkat keras langsung sangat penting untuk pemulihan cepat.