Together выпустила значительное обновление своей платформы вывода, представив «Выделенный вывод моделей», предназначенный для предоставления пользователям полного контроля над производительностью, стоимостью и качеством моделей с открытыми весами. Обновление также анонсирует закрытую бета-версию возможностей пользовательского обучения, включая обучение с подкреплением с полными весами и LoRA.

  • Развертывания поддерживают канареечные, синезеленые и постепенные обновления с автоматическим откатом при превышении пороговых значений.
  • A/B-тестирование и теневое тестирование позволяют оценивать новые веса на реальном трафике без влияния на пользователей.
  • Слои кэширования и распределения моделей были переработаны для обеспечения примерно в 4 раза более быстрого холодного старта.
  • Автоматическое масштабирование поддерживает такие метрики, как количество активных запросов, использование GPU и время до первого токена.
  • Бета-версия пользовательского обучения включает контролируемое тонкое подстраивание с контрольными точками, которые можно развертывать непосредственно в продакшене.

Платформа стремится упростить переход от экспериментов к продакшену за счет управления жизненным циклом развертывания и наблюдаемости, позволяя командам безопасно еженедельно обновлять версии моделей.