A NVIDIA propôs um método usando paralelismo de tensores não uniforme para enfrentar desafios de infraestrutura no treinamento massivo de LLM. Esta abordagem visa mitigar atrasos causados por interrupções não programadas e flutuações de recursos que ocorrem quando jobs abrangem milhares de GPUs por longos períodos.
A técnica é projetada para melhorar o goodput lidando com a indisponibilidade de dispositivos de forma mais eficaz dentro de clusters fortemente interconectados, garantindo que interrupções infrequentes não impactem desproporcionalmente a eficiência geral do treinamento.