最近の研究は、非独立同分布（non-IID）設定における分散自己教師あり学習（D-SSL）フレームワークの堅牢性に関する厳密な理論的解析を提供した。本研究は、Masked Image Modeling (MIM) による事前学習が、Contrastive Learning (CL) よりも本質的に異種データに対して堅牢であることを実証している。さらに、知見からは、分散SSLの堅牢性は平均ネットワーク接続度ととも増加し、連合学習が分散学習よりも劣る堅牢性ではないことが示唆されている。

  • MIMによる事前学習は、Contrastive Learningよりもデータの異質性に対して堅牢である。
  • 分散SSLの堅牢性は、平均ネットワーク接続度とともに増加する。
  • 連合学習は、分散学習と同等以上の堅牢性を持つことが示された。
  • 著者は、局所から大域への整列正則化を備えたMIM目的関数の改良版であるMAR損失を導入した。

これらの知見は、将来のD-SSLアルゴリズムの設計を導くための確固たる理論的基盤を提供し、提案されたMAR損失の有効性を広範な実験を通じて検証している。