Les chercheurs proposent IsoLoCo, une méthode qui adapte la technique de fusion de modèles Iso-C à l'optimisation distribuée afin d'améliorer l'algorithme DiLoCo. En intégrant Iso-C avec le momentum de Nesterov, cette approche vise à corriger la dégradation des performances des méthodes efficaces en communication lorsque le nombre de modèles locaux augmente.
- Le travail établit une analogie entre l'agrégation du pseudo-gradient dans SGD local/DiLoCo et la fusion de modèles basée sur l'arithmétique des tâches.
- IsoLoCo surpasse à la fois la moyenne simple des pseudo-gradients et le DiLoCo basé sur le momentum, sans nécessiter initialement son propre mécanisme de momentum.
- Les évaluations empiriques sur le pré-entraînement de modèles linguistiques montrent qu'IsoLoCo surpasse significativement DiLoCo, l'écart de performance s'élargissant à mesure que le nombre de travailleurs augmente.
- Cet avantage se maintient pour différentes tailles de modèles et nombres d'étapes internes, confirmant que l'agrégation inspirée de la fusion est efficace pour l'entraînement distribué à faible communication.
Cette stratégie offre une approche plus efficace pour l'entraînement distribué à faible communication en tirant parti des techniques de fusion de modèles pour améliorer la qualité de l'agrégation.