बड़े भाषा मॉडल (LLM) प्रशिक्षण कार्यभार गणना का पूर्ण उपयोग होने से पहले बढ़ते हुए GPU मेमोरी सीमाओं से टकरा रहे हैं। मॉडल वजन, ग्रेडिएंट्स, ऑप्टिमाइज़र स्टेट्स, संचार बफर्स और इंटरमीडिएट एक्टिवेशन सभी सीमित GPU हाई-बैंडविड्थ मेमोरी (HBM) के लिए प्रतिस्पर्धा कर रहे हैं। जैसे-जैसे मॉडल का आकार, अनुक्रम की लंबाई और बैच साइज बढ़ते हैं, HBM क्षमता अक्सर प्राथमिक स्केलिंग बॉटलनेक बन जाती है।
यह लेख समझाता है कि JAX-आधारित प्रशिक्षण कार्यप्रवाह में इन प्रतिबंधों को कम करने के लिए होस्ट ऑफलोडिंग का उपयोग कैसे किया जा सकता है।