Análise teórica mostra que o Masked Image Modeling é mais robusto a dados não-IID do que o Contrastive Learning

Um estudo recente fornece uma análise teórica rigorosa da robustez de frameworks de aprendizado auto-supervisionado distribuído (D-SSL) sob configurações não independentes e identicamente distribuídas (non-IID). A pesquisa demonstra que o pré-treinamento com Masked Image Modeling (MIM) é inerentemente mais robusto a dados heterogêneos do que o Contrastive Learning (CL). Além disso, os achados indicam que a robustez do SSL descentralizado aumenta com a conectividade de rede média, sugerindo que o aprendizado federado não é menos robusto do que o aprendizado descentralizado.

• O pré-treinamento com MIM é mais robusto à heterogeneidade de dados do que o Contrastive Learning.
• A robustez do SSL descentralizado aumenta com a conectividade de rede média.
• Demonstrou-se que o aprendizado federado não é menos robusto do que o aprendizado descentralizado.
• Os autores introduzem o MAR loss, um refinamento do objetivo MIM com regularização de alinhamento local-global.

Esses achados fornecem uma base teórica sólida para orientar o design de futuros algoritmos D-SSL e validam a eficácia do MAR loss proposto por meio de experimentos extensos.