लेख यह जाँच करता है कि Transformer फ़ीडफॉरवर्ड ब्लॉक आर्किटेक्चर के घटक प्रारंभिकरण पर गहराई भर में बचे हुए रैंक की मात्रा को कैसे निर्धारित करते हैं। यह स्किप कनेक्शन्स और नॉर्मलाइज़ेशन को ग्रेडियंट रैंक को बनाए रखने के तंत्र के रूप में पुनः व्याख्यायित करता है, जो अन्यथा मैट्रिक्स गुणन और गैर-रेखीय सक्रियणों द्वारा कम हो जाता है।
- स्किप कनेक्शन्स रैंक पतन और एनसेम्बल जैसी व्यवहार के बीच संतुलन बनाते हैं, जो शाखा और स्किप के सापेक्ष पैमानों द्वारा नियंत्रित होता है।
- नॉर्मलाइज़ेशन की स्थिति शाखा-से-स्किप अनुपात को नियंत्रित करती है, यह समझाता है कि रैंक Post-Norm में क्यों पतन करता है लेकिन Pre-Norm में स्थिर हो जाता है।
- दो-मैट्रिक्स संरचना निरूपण या शाखा जैकोबियन रैंक को बनाए रखने के लिए चौड़ाई का विस्तार और संकुचन करती है।
- दूसरा मैट्रिक्स एक सहसंबद्ध माध्य स्पिक को डीकोरिलेट करता है जो एकल मैट्रिक्स के साथ ब्लॉक्स के साथ बढ़ता।
- चौड़ाई विस्तार मार्चेन्को--पैस्टुर नियम का पालन करते हुए शाखा जैकोबियन को पूर्ण रैंक बनाए रखता है।
इनपुट-आउटपुट जैकोबियन का प्रारंभिकरण रैंक यह भविष्यवाणी करता है कि कौन से नेटवर्क CIFAR-10 पर प्रशिक्षित होते हैं। लेखकों ने गहरे नेटवर्क्स के लिए आर्किटेक्चर डिज़ाइन को रैंक पतन, एनसेम्बल जैसी व्यवहार और पैरामीटर गणना के बीच एक अंतर्निहित संतुलन में नेविगेट करने के रूप में पुनः परिभाषित किया है।