تفصل Together AI المتطلبات المعمارية المحددة اللازمة لتحقيق مستويات موثوقية مختلفة للاستدلال باستخدام وحدات معالجة الرسومات، وتجادل بأن أرقام اتفاقيات مستوى الخدمة (SLA) القياسية غالباً ما تحجب مجالات الفشل الفعلية المغطاة.
- تتطلب فترات التشغيل بنسبة 99% البقاء على قيد الحياة من أعطال على مستوى العقد مثل أعطال الأجهزة أو تعطل برامج التشغيل من خلال التحقق التلقائي من الصحة واستبدال النسخ بسرعة داخل مركز بيانات واحد.
- تتطلب فترات التشغيل بنسبة 99.9% البقاء على قيد الحياة من أعطال كاملة في مركز البيانات، مما يستلزم نشر أوزان النموذج عبر مرفقين مع توجيه حركة المرور المباشرة بدلاً من الوضع الساكن البارد.
- تتطلب فترات التشغيل بنسبة 99.99% نشرًا متعدد المناطق مع ازدواجية منطقة التوفر وسعة تحويل احتياطي محجوزة بحجم يمتص عطلًا إقليميًا كاملاً.
تؤكد المقالة على أن ملكية البنية التحتية أمر حاسم، لأن المزودين الذين يستأجرون من عمالقة السحابة لا يمكنهم التحكم في طبقات الطاقة أو التبريد، مما يجعل الرؤية المباشرة للأجهزة ضرورية للاستعادة السريعة.