본 기사는 Transformer 순전파 블록 아키텍처의 구성 요소가 초기화 시 깊이를 지나 살아남는 랭크의 양을 어떻게 결정하는지 조사합니다. 행렬 곱 및 비선형 활성화로 인한 랭크 감소를 상쇄하며 기울기 랭크를 보존하는 메커니즘으로 스킵 연결과 정규화를 재해석합니다.
- 스킵 연결은 브랜치와 스킵의 상대적 스케일에 의해 제어되며, 랭크 붕괴와 앙상블 유사 동작 간에 트레이드오프를 수행합니다.
- 정규화 배치 위치는 브랜치 대 스킵 비율을 제어하며, Post-Norm이 랭크 붕괴를 겪는 반면 Pre-Norm은 평탄해지는 이유를 설명합니다.
- 두 개의 행렬 구조는 폭을 확장 및 수축시켜 표현 또는 브랜치 야코비안 랭크를 보존합니다.
- 두 번째 행렬은 일관된 평균 스파이크의 상관관계를 제거하여 잔여 표현 붕괴를 방지합니다.
- 폭 확장은 Marchenko--Pastur 법칙을 따르며 브랜치 야코비안의 풀 랭크를 유지합니다.
입출력 야코비안의 초기화 랭크는 CIFAR-10에서 학습할 수 있는 네트워크를 예측합니다. 저자들은 심층 네트워크를 위한 아키텍처 설계를 랭크 붕괴, 앙상블 유사 동작 및 매개변수 수 간의 본질적인 트레이드오프 탐색으로 재구성했습니다.