शोधकर्ताओं ने IsoLoCo प्रस्तावित किया, एक विधि जो वितरित अनुकूलन के लिए Iso-C मॉडल मर्जिंग तकनीक को अनुकूलित करती है ताकि DiLoCo एल्गोरिदम में सुधार किया जा सके। Nesterov मोमेंटम के साथ Iso-C को एकीकृत करके, दृष्टिकोण स्थानीय मॉडलों की संख्या बढ़ने के साथ कम संचार वाले विधियों में प्रदर्शन ह्रास को संबोधित करने का लक्ष्य रखता है।
- कार्य स्थानीय SGD/DiLoCo में pseudo-gradient एग्रीगेशन और कार्य अंकगणित-आधारित मॉडल मर्जिंग के बीच एक समानता स्थापित करता है।
- IsoLoCo, सरल pseudo-gradient औसत और मोमेंटम-आधारित DiLoCo दोनों से बेहतर प्रदर्शन करता है, बिना इसके अपने मोमेंटम तंत्र की आवश्यकता के शुरू में।
- भाषा मॉडल पूर्व-प्रशिक्षण पर प्रायोगिक मूल्यांकन दिखाते हैं कि IsoLoCo, DiLoCo को महत्वपूर्ण रूप से हराता है, और कार्यकर्ताओं की संख्या बढ़ने के साथ प्रदर्शन अंतर चौड़ा होता जाता है।
- यह लाभ विभिन्न मॉडल आकारों और आंतरिक चरण गणनाओं में भी बना रहता है, जो पुष्टि करता है कि मर्जिंग से प्रेरित एग्रीगेशन कम संचार वाले वितरित प्रशिक्षण के लिए प्रभावी है।
यह रणनीति मॉडल मर्जिंग तकनीकों का लाभ उठाकर एग्रीगेशन गुणवत्ता को बेहतर बनाकर, कम संचार वाले वितरित प्रशिक्षण के लिए एक अधिक प्रभावी दृष्टिकोण प्रदान करती है।