NVIDIAは、大規模なLLMトレーニングにおけるインフラストラクチャの課題に対処するため、不均一テンソル並列化を使用する手法を提案しました。このアプローチは、長時間にわたって数千のGPUにまたがるジョブが発生する際に生じる、計画外の中断やリソースの変動による遅延を軽減することを目指しています。

この技術は、密に接続されたクラスター内でデバイスの利用不可をより効果的に処理することでグッドプットを向上させ、稀な障害が全体のトレーニング効率に不均衡に影響を与えないように設計されています。