L'analyse théorique montre que le Masked Image Modeling est plus robuste aux données non-IID que l'apprentissage par contraste

Une étude récente fournit une analyse théorique rigoureuse de la robustesse des cadres d'apprentissage auto-supervisé distribué (D-SSL) dans des configurations non indépendantes et identiquement distribuées (non-IID). La recherche démontre que le pré-entraînement avec Masked Image Modeling (MIM) est intrinsèquement plus robuste aux données hétérogènes que l'apprentissage par contraste (CL). De plus, les résultats indiquent que la robustesse du SSL décentralisé augmente avec la connectivité réseau moyenne, suggérant que l'apprentissage fédéré n'est pas moins robuste que l'apprentissage décentralisé.

• Le pré-entraînement avec MIM est plus robuste à l'hétérogénéité des données que l'apprentissage par contraste.
• La robustesse du SSL décentralisé augmente avec la connectivité réseau moyenne.
• L'apprentissage fédéré s'avère tout aussi robuste que l'apprentissage décentralisé.
• Les auteurs introduisent la perte MAR, un raffinement de l'objectif MIM avec une régularisation d'alignement du local au global.

Ces résultats fournissent une base théorique solide pour guider la conception des futurs algorithmes D-SSL et valident l'efficacité de la perte MAR proposée grâce à des expériences extensives.