NVIDIA предложила метод с использованием неравномерного тензорного параллелизма для решения инфраструктурных проблем при масштабном обучении LLM. Этот подход направлен на снижение замедлений, вызванных незапланированными прерываниями и колебаниями ресурсов, возникающими при работе заданий на тысячах GPU в течение длительного времени.
Техника разработана для улучшения goodput за счет более эффективной обработки недоступности устройств в тесно связанных кластерах, гарантируя, что редкие сбои не оказывают непропорционально большого влияния на общую эффективность обучения.