El análisis teórico muestra que el Masked Image Modeling es más robusto a datos no-IID que el Contrastive Learning

Un estudio reciente proporciona un análisis teórico riguroso de la robustez de los marcos de aprendizaje autosupervisado distribuido (D-SSL) bajo configuraciones no independientes e idénticamente distribuidas (non-IID). La investigación demuestra que el preentrenamiento con Masked Image Modeling (MIM) es inherentemente más robusto a datos heterogéneos que el Contrastive Learning (CL). Además, los hallazgos indican que la robustez del SSL descentralizado aumenta con la conectividad de red promedio, lo que sugiere que el aprendizaje federado no es menos robusto que el aprendizaje descentralizado.

• El preentrenamiento con MIM es más robusto a la heterogeneidad de datos que el Contrastive Learning.
• La robustez del SSL descentralizado aumenta con la conectividad de red promedio.
• Se demuestra que el aprendizaje federado no es menos robusto que el aprendizaje descentralizado.
• Los autores introducen MAR loss, un refinamiento del objetivo MIM con regularización de alineación de local a global.

Estos hallazgos proporcionan una base teórica sólida para guiar el diseño de futuros algoritmos D-SSL y validan la efectividad de la pérdida MAR propuesta mediante experimentos extensos.