NVIDIA telah mengusulkan metode yang menggunakan paralelisme tensor non-uniform untuk mengatasi tantangan infrastruktur dalam pelatihan LLM skala masif. Pendekatan ini bertujuan untuk mengurangi perlambatan yang disebabkan oleh gangguan yang tidak terjadwal dan fluktuasi sumber daya yang terjadi ketika pekerjaan melintasi ribuan GPU selama periode yang lama.
Teknik ini dirancang untuk meningkatkan goodput dengan menangani ketidaktersediaan perangkat lebih efektif di dalam kluster yang saling terhubung erat, memastikan bahwa gangguan yang jarang terjadi tidak berdampak secara tidak proporsional terhadap efisiensi pelatihan secara keseluruhan.