Transformerの順伝播ブロック設計は、深さにわたって勾配のランクを保持する

本記事は、Transformerの順伝播ブロックアーキテクチャの構成要素が、初期化時に深さにわたって生存するランクの量をどのように決定するかを検証している。スキップ接続と正規化を、行列乗算および非線形活性化によって引き起こされるランク減少に対抗し、勾配ランクを保持するメカニズムとして再解釈する。

• スキップ接続は、ブランチとスキップの相対的なスケールによって制御され、ランク崩壊とアンサンブルのような挙動の間でトレードオフを行う。
• 正規化の配置はブランチ対スキップ比を制御し、Post-Normがランク崩壊を起こす一方、Pre-Normがプラトーに達する理由を説明する。
• 2つの行列構造は幅を展開および収縮させ、表現またはブランチヤコビアンランクを保持する。
• 2番目の行列は整合性のある平均スパイクの相関を解除し、残差表現の崩壊を防ぐ。
• 幅の拡大はマルチェンコ--パストゥル法則に従い、ブランチヤコビアンのフルランクを維持する。

入出力ヤコビアンの初期化ランクは、CIFAR-10で学習できるネットワークを予測する。著者らは、深層ネットワークのためのアーキテクチャ設計を、ランク崩壊、アンサンブルのような挙動、およびパラメータ数の間の本質的なトレードオフをナビゲートすることとして再構成した。