NVIDIA a proposé une méthode utilisant le parallélisme de tenseurs non uniforme pour résoudre les défis d'infrastructure dans l'entraînement de LLM à très grande échelle. Cette approche vise à atténuer les ralentissements causés par des interruptions imprévues et des fluctuations de ressources qui se produisent lorsque les tâches s'étendent sur des milliers de GPU pendant de longues périodes.
La technique est conçue pour améliorer le goodput en gérant plus efficacement l'indisponibilité des appareils au sein de clusters étroitement interconnectés, garantissant que les perturbations rares n'affectent pas de manière disproportionnée l'efficacité globale de l'entraînement.