Para peneliti mengusulkan IsoLoCo, sebuah metode yang mengadaptasi teknik penggabungan model Iso-C untuk optimisasi terdistribusi guna meningkatkan algoritma DiLoCo. Dengan mengintegrasikan Iso-C dengan momentum Nesterov, pendekatan ini bertujuan mengatasi degradasi kinerja pada metode efisien komunikasi seiring bertambahnya jumlah model lokal.
- Karya ini membangun analogi antara agregasi pseudo-gradien di SGD lokal/DiLoCo dan penggabungan model berbasis aritmetika tugas.
- IsoLoCo mengungguli baik rata-rata pseudo-gradien sederhana maupun DiLoCo berbasis momentum tanpa memerlukan mekanisme momentum sendiri pada awalnya.
- Evaluasi empiris pada pra-pelatihan model bahasa menunjukkan bahwa IsoLoCo secara signifikan mengungguli DiLoCo, dengan kesenjangan kinerja yang melebar seiring bertambahnya jumlah pekerja.
- Keuntungan ini berlaku di berbagai ukuran model dan jumlah langkah dalam, mengonfirmasi bahwa agregasi terinspirasi penggabungan efektif untuk pelatihan terdistribusi komunikasi rendah.
Strategi ini menawarkan pendekatan yang lebih efektif untuk pelatihan terdistribusi komunikasi rendah dengan memanfaatkan teknik penggabungan model untuk meningkatkan kualitas agregasi.