Source · Together AI Blog
media Together AI Blog · il y a 9 j · 15 vues

Together AI introduit les déploiements Canary pour mettre à jour les modèles en production sans interruption de service

Together AI a introduit les déploiements Canary, une fonctionnalité qui migre le trafic en direct d'un modèle actuel vers un nouveau checkpoint par étapes avec des portes (gates). Ce système automatise le mécanisme de sécurité pour l'échange de modèles en exécutant des vérifications de santé et des portes de métriques optionnelles avant de déplacer le trafic, permettant des pauses et des annulations automatiques si les performances se dégradent.

media Together AI Blog · il y a 14 j · 20 vues

Together présente sa stratégie de migration des modèles propriétaires vers des modèles open source

Together propose un cadre permettant aux entreprises de migrer des modèles d'IA propriétaires vers des modèles open source (OSM) à l'aide de services gérés, avec pour objectif de réduire la complexité et d'accélérer l'adoption. Le processus implique de découvrir des modèles adaptés grâce à des benchmarks, de les évaluer via la relecture du trafic, d'adapter les prompts ou les poids, et de calculer le ROI pour justifier le changement.