शोधकर्ता MOJO (Masked autOencoder-based JOint training) पेश करते हैं, जो स्पाइक-टोकनाइज़िंग मॉडल के लिए एक फ्रेमवर्क है जो स्व-सुपरवाइज्ड लर्निंग को मैस्क्ड ऑटोएन्कोडिंग और सुपरवाइज्ड लर्निंग उद्देश्यों के साथ संयुक्त रूप से उपयोग करता है। यह दृष्टिकोण वर्तमान मॉडल की सीमा को संबोधित करता है जो सुपरवाइज्ड लर्निंग तक सीमित हैं, जिसके लिए युग्मित व्यवहार लेबल की आवश्यकता होती है।
- बंदर मोटर कॉर्टेक्स और बहु-क्षेत्रीय चूहों के रिकॉर्डिंग को कवर करने वाले तीन स्पाइक डेटासेट पर मूल्यांकन किया गया, MOJO ने शुद्ध रूप से सुपरवाइज्ड-ट्रेन्ड मॉडल के सापेक्ष श्रेष्ठ प्रदर्शन दिखाया।
- सीमित लेबल वाले डेटा के साथ प्रशिक्षण करते समय यह सुधार विशेष रूप से स्पष्ट है, विशेष रूप से few-shot finetuning परिदृश्यों में।
- स्व-सुपरवाइज्ड लर्निंग को शामिल करने से अधिक व्याख्या योग्य तंत्रिका प्रतिनिधित्व प्राप्त होते हैं, जो स्पष्ट अनुकूलन के बिना मस्तिष्क क्षेत्र वर्गीकरण और स्पाइक-सांख्यिकी पूर्वानुमान पर प्रदर्शन में सुधार करते हैं।
- MOJO बोलने के दौरान मानव इलेक्ट्रोकोर्टिकोग्राफी तक सामान्य होता है, निरंतर संकेतों के लिए डिज़ाइन किए गए न्यूरो-फाउंडेशनल मॉडल के तुलनीय प्रदर्शन को प्राप्त करता है।
स्व-सुपरवाइज्ड लर्निंग के साथ स्पाइक-टोकनाइज़िंग मॉडल को बढ़ाना लेबल-हीन सेटिंग्स में प्रदर्शन को बेहतर बनाता है और विभिन्न कार्यों और प्रजातियों में अलेबल वाले डेटा का उपयोग सक्षम बनाता है।