लेख यह जांचता है कि Transformer फ़ीडफॉरवर्ड ब्लॉक आर्किटेक्चर के घटक प्रारंभिकरण पर गहराई भर में बचे हुए रैंक की मात्रा को कैसे निर्धारित करते हैं। यह स्किप कनेक्शन और सामान्यीकरण को ग्रेडिएंट रैंक बनाए रखने के तंत्र के रूप में पुनर्परिभाषित करता है, मैट्रिक्स गुणा और अरेखीय सक्रियणों द्वारा कारण बनी रैंक कमी का विरोध करते हुए।
- स्किप कनेक्शन रैंप पतन के बीच सामूहिक-समान व्यवहार के साथ संतुलन बनाते हैं, शाखा और स्किप के सापेक्ष पैमानों द्वारा नियंत्रित।
- सामान्यीकरण की स्थिति शाखा-से-स्किप अनुपात को नियंत्रित करती है, यह समझाते हुए कि Post-Norm रैंक पतन का शिकार क्यों होता है जबकि Pre-Norm पठार पर पहुँचता है।
- दो-मैट्रिक्स संरचना प्रतिनिधित्व या शाखा जैकोबियन रैंक को बनाए रखने के लिए चौड़ाई का विस्तार और संकुचन करती है।
- दूसरी मैट्रिक्स सहसंबद्ध माध्य स्पाइक्स को अलग करती है, अवशेष प्रतिनिधित्व पतन को रोकती है।
- चौड़ाई विस्तार शाखा जैकोबियन को पूर्ण रैंक बनाए रखता है, एक मार्चेन्को--पस्तुर नियम का अनुसरण करते हुए।
इनपुट-आउटपुट जैकोबियन का प्रारंभिक रैंक यह भविष्यवाणी करता है कि CIFAR-10 पर कौन सी नेटवर्क प्रशिक्षित होते हैं। लेखकों ने गहरी नेटवर्क्स के लिए आर्किटेक्चर डिज़ाइन को रैंक पतन, सामूहिक-समान व्यवहार और पैरामीटर गणना के बीच एक अंतर्निहित संतुलन में मार्गदर्शन के रूप में पुनर्परिभाषित किया है।