أطلقت تويذر تحديثاً مهماً لمنصة الاستنتاج لديها، مقدمةً ميزة "استنتاج النماذج المخصصة" المصممة لمنح المستخدمين تحكماً كاملاً في الأداء والتكلفة والجودة للنماذج ذات الأوزان المفتوحة. كما يعلن التحديث عن تجريبي مغلق لقدرات التدريب المخصص، بما في ذلك التعلم المعزز بالأوزان الكاملة وLoRA.
- تدعم عمليات النشر تحديثات الكناري والأزرق-الأخضر والمتدرجة مع التراجع التلقائي عند تجاوز العتبات.
- تتيح اختبارات A/B والاختبار الظلي تقييم الأوزان الجديدة مقابل حركة المرور الفعلية دون التأثير على المستخدمين.
- أعيد بناء طبقات التخزين المؤقت للنماذج والتوزيع لتوفير بدءات دافئة أسرع بنحو 4 مرات.
- يدعم التوسع التلقائي مقاييس مثل الطلبات قيد التنفيذ، واستغلال وحدات معالجة الرسومات، والوقت للوصول إلى الرمز الأول.
- يتضمن التجريبي للتدريب المخصص ضبطاً دقيقاً خاضعاً للإشراف مع نقاط تفتيح يمكن نشرها مباشرة في بيئة الإنتاج.
تهدف المنصة إلى تبسيط الانتقال من مرحلة التجربة إلى الإنتاج من خلال إدارة دورة حياة النشر والرصد، مما يسمح للفرق بالتكرار بأمان على إصدارات النماذج أسبوعياً.