理论分析表明，与对比学习相比，掩码图像建模对非独立同分布数据更具鲁棒性

最近的一项研究为非独立同分布（non-IID）设置下分布式自监督学习（D-SSL）框架的鲁棒性提供了严格的理论分析。研究表明，使用掩码图像建模（MIM）进行预训练本质上比对比学习（CL）对异构数据更具鲁棒性。此外，研究结果表明，去中心化 SSL 的鲁棒性随着平均网络连通性的增加而提高，这表明联邦学习与去中心化学习一样具有鲁棒性。

• 与对比学习相比，使用 MIM 进行预训练对数据异构性更具鲁棒性。
• 去中心化 SSL 的鲁棒性随平均网络连通性的增加而提高。
• 研究表明，联邦学习与去中心化学习一样具有鲁棒性。
• 作者引入了 MAR loss，这是对具有局部到全局对齐正则化的 MIM 目标的改进。

这些发现为指导未来 D-SSL 算法的设计提供了坚实的理论基础，并通过大量实验验证了所提出的 MAR loss 的有效性。