एक हालिया अध्ययन ने गैर-स्वतंत्र और समान रूप से वितरित (non-IID) सेटिंग्स के तहत वितरित स्व-सुपरवाइज्ड लर्निंग (D-SSL) फ्रेमवर्क्स की मजबूती का एक कठोर सैद्धांतिक विश्लेषण प्रदान किया है। शोध दिखाता है कि Masked Image Modeling (MIM) के साथ प्री-ट्रेनिंग, Contrastive Learning (CL) की तुलना में विषम डेटा के लिए स्वाभाविक रूप से अधिक मजबूत है। इसके अलावा, निष्कर्ष संकेत देते हैं कि डिसेंट्रलाइज्ड SSL की मजबूती औसत नेटवर्क कनेक्टिविटी के साथ बढ़ती है, जिसका सुझाव है कि फेडरेटेड लर्निंग डिसेंट्रलाइज्ड लर्निंग से कम मजबूत नहीं है।
- MIM के साथ प्री-ट्रेनिंग, Contrastive Learning की तुलना में डेटा विषमता के लिए अधिक मजबूत है।
- डिसेंट्रलाइज्ड SSL की मजबूती औसत नेटवर्क कनेक्टिविटी के साथ बढ़ती है।
- फेडरेटेड लर्निंग को डिसेंट्रलाइज्ड लर्निंग से कम मजबूत नहीं होने का प्रदर्शन किया गया है।
- लेखकों ने MAR loss पेश किया, जो स्थानीय-से-वैश्विक एलाइनमेंट रेगुलराइजेशन के साथ MIM उद्देश्य का एक सुधार है।
ये निष्कर्ष भविष्य के D-SSL एल्गोरिदम के डिज़ाइन को मार्गदर्शन करने के लिए एक मजबूत सैद्धांतिक आधार प्रदान करते हैं और विस्तृत प्रयोगों के माध्यम से प्रस्तावित MAR loss की प्रभावशीलता को मान्य करते हैं।