Pesquisadores propõem o IsoLoCo, um método que adapta a técnica de fusão de modelos Iso-C para otimização distribuída com o objetivo de aprimorar o algoritmo DiLoCo. Ao integrar o Iso-C com o momento de Nesterov, a abordagem visa abordar a degradação de desempenho em métodos eficientes em comunicação à medida que o número de modelos locais aumenta.

  • O trabalho estabelece uma analogia entre a agregação de pseudo-gradients no SGD/DiLoCo local e a fusão de modelos baseada em aritmética de tarefas.
  • O IsoLoCo supera tanto a simples média de pseudo-gradients quanto o DiLoCo baseado em momento, sem exigir inicialmente seu próprio mecanismo de momento.
  • Avaliações empíricas no pré-treinamento de modelos de linguagem mostram que o IsoLoCo supera significativamente o DiLoCo, com a lacuna de desempenho ampliando-se à medida que o número de trabalhadores aumenta.
  • Essa vantagem se mantém em diferentes tamanhos de modelos e contagens de passos internos, confirmando que a agregação inspirada na fusão é eficaz para treinamento distribuído com baixa comunicação.

Essa estratégia oferece uma abordagem mais eficaz para treinamento distribuído com baixa comunicação ao aproveitar técnicas de fusão de modelos para melhorar a qualidade da agregação.