Together 已更新其 GPU Cluster 平台,增加了专为大规模训练和推理工作负载设计的新增可靠性和操作控制功能。这些更改包括重建的 Slurm-on-Kubernetes 堆栈、自动节点修复机制以及增强型访问管理工具。
- 被动健康检查持续监控实际工作负载,以近乎零开销检测 GPU 掉线等硬件故障和热节流问题。
- 自动节点修复为检测到的问题生成推荐的补救操作,包括重启、重新配置、故障转移或从池中移除。
- Slurm-on-K8s 2.0 提供自愈工作守护进程、基于 PVC 存储的持久作业记账以及在重新调度后准确的 GPU 状态跟踪。
- 外部 OIDC 支持允许集群对 Google、Okta 和 Microsoft Entra ID 等身份提供商进行身份验证,以实现 Kubernetes RBAC。
- 启动脚本允许在引导、作业开始或作业结束事件时自定义工作节点、登录节点和控制器。
这些更新旨在通过自动化故障恢复、提高集群可见性并为不断增长的团队提供细粒度的访问控制来减少操作摩擦。