연구자들은 분산 최적화를 위해 Iso-C 모델 병합 기법을 적응시켜 DiLoCo 알고리즘을 향상시키는 IsoLoCo라는 방법을 제안했습니다. Nesterov 모멘텀과 Iso-C를 통합함으로써 이 접근법은 로컬 모델 수가 증가함에 따라 통신 효율적인 방법에서 발생하는 성능 저하를 해결하는 것을 목표로 합니다.

  • 본 연구는 로컬 SGD/DiLoCo의 의사 그래디언트 집계와 작업 산술 기반 모델 병합 간에 유사성을 확립했습니다.
  • IsoLoCo는 초기에 자체 모멘텀 메커니즘을 필요로 하지 않으면서도 단순 의사 그래디언트 평균화 및 모멘텀 기반 DiLoCo보다 우수한 성능을 보였습니다.
  • 언어 모델 사전 학습에 대한 실험적 평가에서 IsoLoCo가 DiLoCo를 크게 상회하며, 워커 수가 증가할수록 성능 격차가 확대됨이 나타났습니다.
  • 이 이점은 서로 다른 모델 크기 및 내부 단계 수 전반에 걸쳐 유지되며, 병합 영감 집계는 저통신 분산 학습에 효과적임을 확인했습니다.

이 전략은 모델 병합 기법을 활용하여 집계 품질을 개선함으로써 저통신 분산 학습을 위한 더 효과적인 접근 방식을 제공합니다.