NVIDIA는 막대한 규모의 LLM 학습에서 인프라 문제를 해결하기 위해 비균일 텐서 병렬화를 사용하는 방법을 제안했습니다. 이 접근 방식은 장기간에 걸쳐 수천 개의 GPU에 걸친 작업이 발생할 때 발생하는 계획되지 않은 중단과 자원 변동으로 인한 지연을 완화하는 것을 목표로 합니다.
이 기술은 밀집된 클러스터 내에서 디바이스 가용성 문제를 더 효과적으로 처리하여 goodput을 개선하고, 드문 장애가 전체 학습 효율성에 불균형하게 영향을 미치지 않도록 설계되었습니다.