Transformer Geometry Observatory-II (TGO-II)는 지도 학습 동안 Vision Transformer 표현의 진화를 조사하기 위해 설계된 프레임워크이며, 그 기하학적 변화에 대한 이해 부족을 해결합니다.

  • TGO-II는 Centered Kernel Alignment (CKA), Singular Vector Canonical Correlation Analysis (SVCCA), Two-Nearest Neighbor Intrinsic Dimensionality (TwoNN-ID) 및 토큰 공분산 분석을 사용하여 ViT-Small/16 표현을 분석합니다.
  • CKA 및 SVCCA 점수는 학습 내내 점차 감소하며, 레이어 전반에 걸쳐 표현의 전문화가 증가하고 있음을 나타냅니다.
  • 내재적 차원은 안정화되기 전에 지속적으로 증가하며, 표현 매니폴드가 더 많은 국소적으로 접근 가능한 자유도의 집합으로 확장되고 있음을 시사합니다.
  • 토큰 공분산 및 결합 분석은 강력한 토큰 상호작용 구조가 학습 내내 지속됨을 보여줍니다.

이러한 발견들은 표현 복잡성과 레이어 전문화가 학습 동안 동시에 나타나며, 매니폴드 확장이 토큰 분리 없이 발생함을 시사합니다.