Transformerの順伝播ブロック設計は深さ全体で勾配ランクを保持する

本記事は、Transformerの順伝播ブロックアーキテクチャの構成要素が、初期化時に深さ全体で維持されるランクの量をどのように決定するかを調査している。スキップコネクションと正規化を、行列乗算や非線形活性化によってそれ以外では減少する勾配ランクを保持するメカニズムとして再解釈する。

• スキップコネクションは、ブランチとスキップの相対的なスケールによって制御され、ランク崩壊とアンサンブルのような挙動のトレードオフを行う。
• 正規化の配置はブランチ対スキップ比を制御し、Post-Normでランクが崩壊する一方、Pre-Normでは頭打ちになる理由を説明する。
• 2つの行列構造は幅を広げたり狭めたりして、表現またはブランチヤコビアンランクを保持する。
• 2番目の行列は、単一の行列の場合ブロック間で成長していた相関のある平均スパイクを無相関化する。
• 幅の拡大はマルチェンコ--パストゥール則に従い、ブランチヤコビアンのフルランクを維持する。

入出力ヤコビアンの初期化ランクは、CIFAR-10で学習できるネットワークを予測する。著者らは、深層ネットワークのアーキテクチャ設計を、ランク崩壊、アンサンブルのような挙動、パラメータ数の間の本質的なトレードオフをナビゲートすることとして再定式化した。