研究人员提出了 IsoLoCo，这是一种将 Iso-C 模型融合技术适配到分布式优化中以增强 DiLoCo 算法的方法。通过整合 Iso-C 与 Nesterov 动量，该方法旨在解决随着局部模型数量增加，通信高效方法的性能下降问题。

  • 该工作建立了局部 SGD/DiLoCo 中伪梯度聚合与基于任务算术的模型融合之间的类比。
  • IsoLoCo 优于简单的伪梯度平均和基于动量的 DiLoCo，且最初不需要其自身的动量机制。
  • 在语言模型预训练上的实证评估显示，IsoLoCo 显著优于 DiLoCo，且随着工作节点数量的增加，性能差距进一步扩大。
  • 这种优势在不同的模型大小和内部步数下均成立，证实了受融合启发的聚合对于低通信分布式训练是有效的。

该策略通过利用模型融合技术来提高聚合质量，为低通信分布式训练提供了一种更有效的方案。