تصل أعباء عمل تدريب نماذج اللغة الكبيرة (LLM) بشكل متزايد إلى حدود ذاكرة GPU قبل استغلال الحوسبة بالكامل. تتنافس أوزان النموذج، والتدرجات، وحالات المُحسِّن، ومخازن التخزين المؤقت للاتصالات، والتنشيطات الوسيطة جميعها على ذاكرة GPU عالية النطاق الترددي (HBM) المحدودة. مع زيادة حجم النموذج، وطول التسلسل، وحجم الدفعة، تصبح سعة HBM غالبًا عنق الزجاجة الرئيسي للتوسع.
يشرح هذا المقال كيفية استخدام إخراج المضيف للتخفيف من هذه القيود في سير عمل التدريب القائم على JAX.