Исследователи предлагают IsoLoCo, метод, адаптирующий технику слияния моделей Iso-C для распределенной оптимизации с целью улучшения алгоритма DiLoCo. За счет интеграции Iso-C с импульсом Нестерова подход направлен на решение проблемы снижения производительности в методах с эффективной коммуникацией по мере увеличения количества локальных моделей.
- Работа устанавливает аналогию между агрегацией псевдоградиентов в локальном SGD/DiLoCo и слиянием моделей, основанным на арифметике задач.
- IsoLoCo превосходит как простое усреднение псевдоградиентов, так и DiLoCo на основе импульса, изначально не требуя собственного механизма импульса.
- Эмпирические оценки при предварительном обучении языковых моделей показывают, что IsoLoCo значительно превосходит DiLoCo, причем разрыв в производительности увеличивается по мере роста числа рабочих узлов.
- Это преимущество сохраняется для различных размеров моделей и количества внутренних шагов, подтверждая эффективность агрегации, вдохновленной слиянием, для распределенного обучения с низкой коммуникационной нагрузкой.
Эта стратегия предлагает более эффективный подход к распределенному обучению с низкой коммуникационной нагрузкой за счет использования техник слияния моделей для улучшения качества агрегации.