본 기사는 Transformer 순전파 블록 아키텍처의 구성 요소가 초기화 시 깊이를 거쳐 생존하는 랭크의 양을 어떻게 결정하는지 조사합니다. 행렬 곱셈과 비선형 활성화로 인해 일반적으로 감소하는 기울기 랭크를 보존하는 메커니즘으로 스킵 연결과 정규화를 재해석합니다.

  • 스킵 연결은 브랜치와 스킵의 상대적 스케일에 의해 제어되며, 랭크 붕괴와 앙상블 유사 동작 간에 트레이드오프를 수행합니다.
  • 정규화 배치 위치는 브랜치 대 스킵 비율을 제어하여 Post-Norm에서 랭크가 붕괴되는 반면 Pre-Norm에서는 평탄해지는 이유를 설명합니다.
  • 두 개의 행렬 구조는 폭을 확장하고 축소하여 표현 또는 브랜치 야코비안 랭크를 보존합니다.
  • 두 번째 행렬은 단일 행렬일 경우 블록 간에 성장할 수 있는 일관된 평균 스파이크의 상관관계를 제거합니다.
  • 폭 확장은 마르첸코--파스퇴르 법칙을 따르며 브랜치 야코비안의 풀 랭크를 유지합니다.

입출력 야코비안의 초기화 랭크는 CIFAR-10에서 학습하는 네트워크를 예측합니다. 저자들은 딥 네트워크의 아키텍처 설계를 랭크 붕괴, 앙상블 유사 동작, 매개변수 수 간의 내재적 트레이드오프 탐색으로 재정의했습니다.