يقترح الباحثون طريقة IsoLoCo، التي تُكيّف تقنية دمج النماذج Iso-C للتحسين الموزع لتعزيز خوارزمية DiLoCo. ومن خلال دمج Iso-C مع زخم Nesterov، تهدف هذه الطريقة إلى معالجة تدهور الأداء في الطرق الفعالة من حيث التواصل مع زيادة عدد النماذج المحلية.
- تُرسّي الدراسة تشابهاً بين تجميع التدرج الكاذب في SGD المحلي/DiLoCo ودمج النماذج القائم على حساب المهام.
- يتفوق IsoLoCo على كل من متوسط التدرج الكاذب البسيط وDiLoCo القائم على الزخم، دون الحاجة إلى آلية زخم خاصة به في البداية.
- أظهرت التقييمات التجريبية على التدريب المسبق للنماذج اللغوية أن IsoLoCo يتفوق بشكل كبير على DiLoCo، مع اتساع فجوة الأداء مع زيادة عدد العاملين.
- ينطبق هذا المزايا عبر أحجام النماذج المختلفة وعدد الخطوات الداخلية، مما يؤكد أن التجميع المستوحى من الدمج فعال للتدريب الموزع منخفض التواصل.
توفر هذه الاستراتيجية نهجاً أكثر فعالية للتدريب الموزع منخفض التواصل من خلال الاستفادة من تقنيات دمج النماذج لتحسين جودة التجميع.