研究者らは、分散最適化のためにIso-Cモデルマージ手法を適応させ、DiLoCoアルゴリズムを強化するIsoLoCoという手法を提案した。NesterovモーメンタムとIso-Cを統合することで、このアプローチはローカルモデル数が増加するにつれて通信効率の高い手法で生じるパフォーマンス劣化に対処することを目指している。

  • 本研究は、ローカルSGD/DiLoCoにおける擬似勾配集約とタスク演算ベースのモデルマージとの間に類似性を確立した。
  • IsoLoCoは、当初独自のモーメンタム機構を必要とせずに、単純な擬似勾配平均やモーメンタムベースのDiLoCoを上回る性能を示した。
  • 言語モデルの事前学習における実証的評価では、IsoLoCoがDiLoCoを大幅に上回り、ワーカー数が増加するにつれてその性能差が拡大することが示された。
  • この利点は異なるモデルサイズや内部ステップ数全体で維持され、マージに着想を得た集約が低通信分散トレーニングにおいて効果的であることを確認した。

この戦略は、モデルマージ手法を活用して集約品質を改善することで、低通信分散トレーニングに対するより効果的なアプローチを提供する。