Artikel ini menyelidiki bagaimana komponen arsitektur blok feedforward Transformer menentukan jumlah rank yang bertahan melintasi kedalaman pada inisialisasi. Artikel ini menafsirkan ulang koneksi lompatan dan normalisasi sebagai mekanisme untuk mempertahankan rank gradien, yang jika tidak akan berkurang oleh perkalian matriks dan aktivasi nonlinier.
- Koneksi lompatan mengorbankan runtuhnya rank terhadap perilaku seperti ensemble, dikendalikan oleh skala relatif cabang dan lompatan.
- Penempatan normalisasi mengontrol rasio cabang-terhadap-lompatan, menjelaskan mengapa rank runtuh di Post-Norm tetapi mendatar di Pre-Norm.
- Struktur dua matriks memperluas dan memampatkan lebar untuk mempertahankan representasi atau rank Jacobian cabang.
- Matriks kedua mendekorelasikan lonjakan mean koheren yang akan tumbuh melintasi blok dengan satu matriks.
- Ekspansi lebar menjaga Jacobian cabang penuh rank, mengikuti hukum Marchenko--Pastur.
Rank inisialisasi Jacobian input-output memprediksi jaringan mana yang dilatih pada CIFAR-10. Penulis merumuskan ulang desain arsitektur untuk jaringan dalam sebagai navigasi di antara tradeoff intrinsik antara runtuhnya rank, perilaku seperti ensemble, dan jumlah parameter.