Together обновила свою платформу GPU Cluster новыми функциями надежности и операционного контроля, предназначенными для масштабных задач обучения и вывода моделей. Изменения включают переработанный стек Slurm-on-Kubernetes, механизмы автоматического восстановления узлов и улучшенные инструменты управления доступом.
- Пассивные проверки работоспособности непрерывно мониторят реальные рабочие нагрузки для обнаружения аппаратных сбоев, таких как отключение GPU и термическое троттлингирование, с почти нулевыми накладными расходами.
- Автоматическое восстановление узлов генерирует рекомендуемые действия по устранению выявленных проблем, включая перезагрузку, повторное развертывание, переключение на резервный узел или удаление из пула.
- Slurm-on-K8s 2.0 предоставляет самовосстанавливающиеся рабочие демоны, надежный учет задач на хранилище с поддержкой PVC и точное отслеживание состояния GPU после переназначений.
- Поддержка внешнего OIDC позволяет кластерам аутентифицироваться у поставщиков идентичности, таких как Google, Okta и Microsoft Entra ID, для управления RBAC в Kubernetes.
- Скрипты запуска позволяют настраивать рабочие узлы, узлы входа и контроллеры при загрузке, начале или завершении задачи.
Эти обновления направлены на снижение операционных трудностей за счет автоматизации восстановления после сбоев, улучшения видимости состояния кластера и предоставления детализированного контроля доступа для растущих команд.