تعلن Together AI عن النسخة التجريبية العامة للحوسبة القابلة للإنهاء (preemptible compute) لـ Together GPU Clusters على Kubernetes، مما يوفر خيارًا أقل تكلفة للأحمال العملية التي تتحمل الانقطاع. تستخدم العقد القابلة للإنهاء السعة المسرّعة من NVIDIA غير المستخدمة وتُفوتر بنسبة ثابتة تبلغ 50% من سعر الطلب المباشر (on-demand).
- يمكن استرداد العقد عندما تكون السعة مطلوبة في مكان آخر، مما يؤدي إلى تشغيل تسلسل تصريف مدته خمس دقائق حيث تتلقى الحاويات (pods) إشارة SIGTERM لإنشاء نقاط التفتيش والخروج.
- الفوترة دون ساعة، مع قياس الاستخدام كل دقيقة إلى دقيقتين.
- تنضم العقد القابلة للإنهاء إلى العناقيد الموجودة عبر الوسم (label)، مما يسمح للمكونات الحرجة بالبقاء على العقد القياسية.
- تدعم الميزة التجارب القصيرة، والإزالة الجزئية (ablutions)، والانفجارات المؤقتة للاستدلال التي يمكن استئنافها من نقاط التفتيش أو إعادة المحاولة بعد الانقطاع.
يتيح ذلك للفرق الاستفادة من السعة الفارغة للأحمال العملية غير الحرجة مثل الوظائف الدفعية ومسوحات التكوين مع الحفاظ على النسخ المكررة الموجهة للمستخدمين على بنية تحتية قياسية مضمونة.