NVIDIA ha propuesto un método que utiliza paralelismo de tensores no uniforme para abordar los desafíos de infraestructura en el entrenamiento masivo de LLM. Este enfoque busca mitigar las ralentizaciones causadas por interrupciones no programadas y fluctuaciones de recursos que ocurren cuando los trabajos abarcan miles de GPUs durante períodos prolongados.
La técnica está diseñada para mejorar el goodput manejando la indisponibilidad de dispositivos de manera más efectiva dentro de clústeres estrechamente interconectados, asegurando que las interrupciones infrecuentes no impacten desproporcionadamente la eficiencia general del entrenamiento.