Теоретический анализ показывает, что Masked Image Modeling более устойчив к не-IID данным, чем Contrastive Learning

Недавнее исследование предоставляет строгий теоретический анализ устойчивости распределенных фреймворков самообучения без учителя (D-SSL) в условиях независимого и одинаково не распределенного (non-IID). Исследование демонстрирует, что предварительное обучение с помощью Masked Image Modeling (MIM) по своей природе более устойчиво к гетерогенным данным, чем Contrastive Learning (CL). Кроме того, результаты указывают на то, что устойчивость децентрализованного SSL увеличивается со средней связностью сети, предполагая, что федеративное обучение не менее устойчиво, чем децентрализованное обучение.

• Предварительное обучение с помощью MIM более устойчиво к гетерогенности данных, чем Contrastive Learning.
• Устойчивость децентрализованного SSL увеличивается со средней связностью сети.
• Показано, что федеративное обучение не менее устойчиво, чем децентрализованное обучение.
• Авторы вводят MAR loss, улучшение цели MIM с регуляризацией локально-глобального выравнивания.

Эти результаты обеспечивают прочную теоретическую основу для руководства проектированием будущих алгоритмов D-SSL и подтверждают эффективность предложенного MAR loss через обширные эксперименты.