Together AI anuncia la vista previa pública del cómputo preemptible para Together GPU Clusters en Kubernetes, ofreciendo una opción de menor costo para cargas de trabajo tolerantes a interrupciones. Los nodos preemptibles utilizan capacidad acelerada NVIDIA no utilizada y se facturan al 50% fijo de la tarifa bajo demanda.

  • Los nodos pueden ser recuperados cuando se necesita capacidad en otro lugar, desencadenando una secuencia de drenaje de cinco minutos donde los pods reciben SIGTERM para hacer puntos de control y salir.
  • La facturación es por subhora, con el uso medido cada uno o dos minutos.
  • Los nodos preemptibles se unen a los clústeres existentes mediante la etiqueta (label), permitiendo que los componentes críticos permanezcan en nodos estándar.
  • La función admite experimentos cortos, ablaciones y ráfagas de inferencia temporales que pueden reanudarse desde puntos de control o reintentarse después de una interrupción.

Esto permite a los equipos aprovechar la capacidad ociosa para cargas de trabajo no críticas como trabajos por lotes y barridos de configuración, manteniendo las réplicas visibles para el usuario en infraestructura estándar garantizada.