새로운 이론적 프레임워크는 컨텍스트 내 n-grams와 다중 홉 추론과 같은 합성 작업을 통합하는 일반화된 귀납적 작업 클래스를 연구함으로써 트랜스포머 언어 모델에서 귀납적 추론 능력의 출현을 설명합니다.

  • 어텐션 모델의 학습 역학은 해석 가능한 저차원 불변 다양체에 제한됩니다.
  • 이 다양체 위의 학습 역학은 수백만 개의 매개변수가 아니라 몇 가지 해석 가능한 좌표로 포착됩니다.
  • 이 프레임워크는 데이터 통계가 컨텍스트 내 학습과 가중치 내 학습 간의 경쟁을 어떻게 지배하는지 특징짓습니다.
  • 여러 해가 가능한 경우 무작위 초기화가 '승리하는' 회로를 결정합니다.
  • 다양체에 연관된 좌표계를 사용하여 훈련된 모델에서 어떤 회로가 학습되었는지 자동으로 감지할 수 있습니다.

회로 형성을 저차원 동적 현상으로 취급함으로써, 이 연구는 트랜스포머가 어떻게 학습하는지에 대한 예측 이론으로 나아가는 한 걸음을 내딛습니다.