이론적 분석에 따르면 Masked Image Modeling은 Contrastive Learning보다 비IID 데이터에 더 강건하다

최근 연구는 독립적이고 동일하게 분포되지 않은(non-IID) 설정에서 분산 자기지도 학습(D-SSL) 프레임워크의 강건성에 대한 엄격한 이론적 분석을 제공한다. 이 연구는 Masked Image Modeling (MIM)을 통한 사전 학습이 Contrastive Learning (CL)보다 본질적으로 이종 데이터에 더 강건함을 입증한다. 또한, 발견된 바에 따르면 분산 SSL의 강건성은 평균 네트워크 연결성과 함께 증가하며, 연대 학습이 분산 학습만큼 강건하지 않다는 것을 시사한다.

• MIM을 통한 사전 학습은 Contrastive Learning보다 데이터 이질성에 대해 더 강건하다.
• 분산 SSL의 강건성은 평균 네트워크 연결성과 함께 증가한다.
• 연대 학습은 분산 학습만큼 강건함이 입증되었다.
• 저자들은 로컬에서 글로벌 정렬 정규화를 갖춘 MIM 목적 함수의 개선된 버전인 MAR 손실을 도입했다.

이러한 발견들은 향후 D-SSL 알고리즘 설계를 안내할 탄탄한 이론적 기반을 제공하며, 광범위한 실험을 통해 제안된 MAR 손실의 유효성을 검증한다.