Los investigadores proponen IsoLoCo, un método que adapta la técnica de fusión de modelos Iso-C para la optimización distribuida con el fin de mejorar el algoritmo DiLoCo. Al integrar Iso-C con el momento de Nesterov, el enfoque busca abordar la degradación del rendimiento en los métodos eficientes en comunicación a medida que aumenta el número de modelos locales.
- El trabajo establece una analogía entre la agregación de pseudo-gradients en SGD/DiLoCo local y la fusión de modelos basada en aritmética de tareas.
- IsoLoCo supera tanto al simple promedio de pseudo-gradients como a DiLoCo basado en momento, sin requerir inicialmente su propio mecanismo de momento.
- Las evaluaciones empíricas en el preentrenamiento de modelos de lenguaje muestran que IsoLoCo supera significativamente a DiLoCo, y la brecha de rendimiento se amplía a medida que aumenta el número de trabajadores.
- Esta ventaja se mantiene en diferentes tamaños de modelos y conteos de pasos internos, confirmando que la agregación inspirada en la fusión es efectiva para el entrenamiento distribuido con baja comunicación.
Esta estrategia ofrece un enfoque más efectivo para el entrenamiento distribuido con baja comunicación al aprovechar las técnicas de fusión de modelos para mejorar la calidad de la agregación.