قادت إنفيديا (NVIDIA) إلى اقتراح طريقة تستخدم التوازي غير المنتظم للصفائف لمعالجة تحديات البنية التحتية في تدريب نماذج اللغات الكبيرة (LLM) على نطاق هائل. تهدف هذه النهج إلى التخفيف من التباطؤ الناتج عن الانقطاعات غير المجدولة وتقلبات الموارد التي تحدث عندما تمتد المهام عبر آلاف وحدات معالجة الرسومات (GPU) لفترات ممتدة.
صُممت التقنية لتحسين الجودبوت من خلال التعامل مع عدم توفر الأجهزة بشكل أكثر فعالية داخل مجموعات مترابطة بشدة، مما يضمن ألا تؤثر الاضطرابات النادرة بشكل غير متناسب على كفاءة التدريب الإجمالية.