एक नया सैद्धांतिक ढांचा संदर्भ में n-grams और बहु-छलांग तर्क जैसे संयुक्त कार्यों को एकीकृत करने वाले एक सामान्यीकृत श्रेणी के इनडक्टिव टास्क का अध्ययन करके, ट्रांसफॉर्मर भाषा मॉडल में सनातन तर्कशक्ति क्षमताओं के उभार की व्याख्या करता है।
- एटेंशन मॉडल की प्रशिक्षण गतिकी एक अत्यधिक व्याख्या योग्य, कम-आयामी अपरिवर्तनीय मैनिफोल्ड तक सीमित है।
- इस मैनिफोल्ड पर सीखने की गतिकी लाखों पैरामीटर के बजाय कुछ व्याख्या योग्य निर्देशांकों द्वारा कैप्चर की जाती है।
- ढांचा इस बात को चित्रित करता है कि डेटा सांख्यिकी संदर्भ और इन-वेट्स सीखने के बीच प्रतिस्पर्धा को कैसे नियंत्रित करती है।
- जब कई समाधान संभव होते हैं, तो यादृच्छिक प्रारंभीकरण 'जीतने वाले' सर्किट को निर्धारित करता है।
- मैनिफोल्ड से जुड़े निर्देशांक फ्रेम का उपयोग प्रशिक्षित मॉडल में किस सर्किट को सीखा गया है, इसका स्वचालित रूप से पता लगाने के लिए किया जा सकता है।
सर्किट गठन को एक कम-आयामी गतिकी घटना के रूप में देखकर, यह कार्य ट्रांसफॉर्मर कैसे सीखते हैं, इसके बारे में एक भविष्यसूचक सिद्धांत की ओर एक कदम उठाता है।