새로운 프리프린트는 추론 과정에서 내부 표현이 구조화된 진행을 따르는지 확인하기 위해 로컬로 계측된 8개의 작은 오픈 Transformer 모델의 은닉 상태 역학을 분석합니다. 이 연구는 모델 깊이 전반에서 발생하는 변화와 자기회귀 생성 시간에 따라 진화하는 변화를 구분합니다.

  • 모델 깊이 전반의 지역적 순서는 무작위 순열보다 훨씬 더 구조화되어 있었으며(p = 0.00019996), 모든 한 모델 제외 검증에서도 유지되었습니다.
  • 교차 모델 깊이 프로파일은 약 r = 0.789의 평균 상관관계를 보이며 높은 일관성을 나타냈습니다.
  • 기능적으로 레이블된 사건은 정규화된 층 깊이에 통계적으로 연관되어 있었습니다(p = 0.0024).
  • 이전에 관찰된 공통 시간 패턴은 확장된 패널에서 재현되지 못했으며, 8개의 한 모델 제외 검증 중 단 하나도 통과하지 못했습니다.
  • 유사한 기능적 결과를 갖거나 동일한 아키텍처 계열에 속하는 모델들은 유의미한 구조적 유사성을 보이지 않았습니다.

이 결과는 Transformer 추론이 시간과 행동 측면에서는 매우 조건부이면서도 깊이 방향으로는 재현 가능한 구조를 포함하고 있음을 시사하며, 보편적인 시간 역학이라는 개념에 의문을 제기합니다.