NVIDIA ने विशाल पैमाने पर LLM प्रशिक्षण में बुनियादी ढांचे की चुनौतियों को दूर करने के लिए असमान टेंसर समानांतरता का उपयोग करने वाली एक विधि का प्रस्ताव दिया है। यह दृष्टिकोण लंबे समय तक हजारों GPUs पर फैले हुए जॉब्स के दौरान होने वाले अनुसूचित न होने वाले अंतर्ग्रहण और संसाधन उतार-चढ़ाव से होने वाली धीमाई को कम करने का लक्ष्य रखता है।
इस तकनीक को क्लस्टरों में उपकरण की अनुपलब्धता को अधिक प्रभावी ढंग से संभालने के लिए डिज़ाइन किया गया है, यह सुनिश्चित करते हुए कि दुर्लभ विघटन समग्र प्रशिक्षण दक्षता पर असमानुपातिक रूप से प्रभाव न डालें।