تفصّل شركة Together AI بنية منصة الاستدعاء للنماذج المخصصة، التي تربط نقاط النهاية والنشرات والإعدادات الثابتة من خلال تقسيم حركة المرور الواعي بالسعة. يقوم هذا النظام بتوجيه الطلبات بناءً على السعة الفعّالة (الوزن مضروباً في عدد النسخ الجاهزة) بدلاً من النسب الثابتة، مما يمكّن من ميزات مثل الإصدارات بدون توقف واختبار A/B.
- تحدد الإعدادات المحرك ونوع وحدة معالجة الرسومات وملفات التعريف للتحسين (زمن الاستجابة، الإنتاجية، أو المتوازن)، وهي غير قابلة للتغيير لمنع انحراف السلوك.
- تربط النشرات إصداراً محدداً من النموذج بإعداد وتدير سياسات التوسع التلقائي للنسخ.
- توفر نقاط النهاية هوية مستقرة للعملاء، باستخدام تقسيم حركة المرور لتوزيع الحمل على النشرات بشكل يتناسب مع سعتها.
- تدعم المنصة مجموعات A/B والإصدارات التجريبية التي تتكامل مع منطق التوجيه الأساسي.
توضح المقالة كيف يمنع هذا النموذج مشكلات التشبع أثناء التوسع، وتسلط الضوء على أهمية اختبار ملفات تعريف مثل زمن الاستجابة مقابل الإنتاجية عند مستويات مختلفة من التزامن لتجنب توقفات بيئة الإنتاج.