Analisis teoretis menunjukkan Masked Image Modeling lebih robust terhadap data non-IID daripada Contrastive Learning

Sebuah studi terbaru memberikan analisis teoretis yang rigor mengenai ketahanan kerangka pembelajaran mandiri terdistribusi (D-SSL) dalam pengaturan non-independent dan identically distributed (non-IID). Penelitian ini menunjukkan bahwa pra-pelatihan dengan Masked Image Modeling (MIM) secara inheren lebih robust terhadap data heterogen dibandingkan Contrastive Learning (CL). Selain itu, temuan tersebut mengindikasikan bahwa ketahanan SSL terdesentralisasi meningkat seiring dengan konektivitas jaringan rata-rata, yang menyiratkan bahwa pembelajaran federasi tidak kurang robust dibandingkan pembelajaran terdesentralisasi.

• Pra-pelatihan dengan MIM lebih robust terhadap heterogenitas data daripada Contrastive Learning.
• Ketahanan SSL terdesentralisasi meningkat seiring dengan konektivitas jaringan rata-rata.
• Pembelajaran federasi terbukti sama robustnya dengan pembelajaran terdesentralisasi.
• Para penulis memperkenalkan kerugian MAR, sebuah penyempurnaan dari tujuan MIM dengan regularisasi penyesuaian lokal-ke-global.

Temuan-temuan ini memberikan dasar teoretis yang kokoh untuk membimbing desain algoritma D-SSL di masa depan dan memvalidasi efektivitas kerugian MAR yang diusulkan melalui eksperimen ekstensif.