शोधकर्ता एक ऐसे सामान्यीकृत श्रेणी का अध्ययन करके, जिसमें संदर्भ n-grams और बहु-चाल तर्क जैसे कृत्रिय कार्य शामिल हैं, ने ट्रान्सफॉर्मर भाषा मॉडलों में संचयी तर्कशक्ति क्षमताओं के उद्भव को समझाने वाला एक सैद्धांतिक ढांचा प्रस्तुत किया।
- एटेंशन मॉडल की प्रशिक्षण गतिशीलता को एक अत्य व्याख्यायित, कम-आयामी अपरिवर्तनीय मैनिफोल्ड तक सीमित पाया गया है।
- इस मैनिफोल्ड पर सीखने की गतिशीलता को लाखों पैरामीटरों के बजाय कुछ व्याख्यायित निर्देशांकों द्वारा कैप्चर किया जाता है।
- ढांचा इस बात का वर्णन करता है कि डेटा सांख्यिकी संदर्भ और वजन में सीखने के बीच प्रतिस्पर्धा को कैसे नियंत्रित करती है।
- जब कई समाधान संभव होते हैं, तो यादृच्छिक प्रारंभीकरण 'जीतने वाले' सर्किट का निर्धारण करते हैं।
- मैनिफोल्ड से जुड़े निर्देशांक फ्रेम को प्रशिक्षित मॉडलों में कौन से सर्किट सीखे गए हैं, यह स्वचालित रूप से पता लगाने के लिए उपयोग किया जा सकता है।
सर्किट गठन को एक कम-आयामी गतिशील घटना के रूप में देखते हुए, यह कार्य इस बात की एक पूर्वानुमानक सिद्धांत की ओर एक कदम है कि ट्रान्सफॉर्मर कैसे सीखते हैं।