연구자들은 컨텍스트 내 n-grams와 다중 홉 추론과 같은 합성 작업을 통합하는 일반화된 귀납적 작업 클래스를 연구함으로써 트랜스포머 언어 모델에서 귀납적 추론 능력의 출현을 설명하는 이론적 틀을 제시했다.

  • 어텐션 모델의 학습 역학은 해석 가능한 저차원 불변 다양체에 제한됨이 증명되었다.
  • 이 다양체 위의 학습 역학은 수백만 개의 파라미터가 아니라 해석 가능한 좌표 몇 개로 포착된다.
  • 이 틀은 데이터 통계가 컨텍스트 내 학습과 가중치 내 학습 간의 경쟁을 어떻게 지배하는지를 특징짓는다.
  • 여러 해가 가능한 경우 무작위 초기화가 '승리하는' 회로를 결정한다.
  • 다양체에 연관된 좌표계를 사용하여 훈련된 모델에서 어떤 회로가 학습되었는지 자동으로 감지할 수 있다.

회로 형성을 저차원 동적 현상으로 묘사함으로써, 이 연구는 트랜스포머가 어떻게 학습하는지에 대한 예측 이론으로 나아가는 한 걸음을 내딛는다.