Artikel ini menyelidiki bagaimana komponen arsitektur blok feedforward Transformer menentukan jumlah rank yang bertahan sepanjang kedalaman pada inisialisasi. Artikel ini menginterpretasikan ulang koneksi skip dan normalisasi sebagai mekanisme untuk mempertahankan rank gradien, menentang pengurangan rank yang disebabkan oleh perkalian matriks dan aktivasi nonlinier.
- Koneksi skip melakukan pertukaran antara keruntuhan rank terhadap perilaku seperti ensemble, dikendalikan oleh skala relatif cabang dan skip.
- Penempatan normalisasi mengontrol rasio cabang-terhadap-skip, menjelaskan mengapa Post-Norm mengalami keruntuhan rank sementara Pre-Norm mencapai plateau.
- Struktur dua-matriks memperluas dan memampatkan lebar untuk mempertahankan representasi atau rank Jacobian cabang.
- Matriks kedua mendekorelasikan lonjakan mean yang koheren, mencegah keruntuhan representasi residual.
- Ekspansi lebar menjaga Jacobian cabang tetap full rank, mengikuti hukum Marchenko--Pastur.
Rank inisialisasi Jacobian input-output memprediksi jaringan mana yang dapat dilatih pada CIFAR-10. Penulis merumuskan ulang desain arsitektur untuk jaringan dalam sebagai navigasi melalui tradeoff intrinsik di antara keruntuhan rank, perilaku seperti ensemble, dan jumlah parameter.