Transformer Geometry Observatory-II (TGO-II) は、教師あり学習中のVision Transformerの表現の進化を探求するために設計されたフレームワークであり、その幾何学的変化に関する理解の欠如に対処しています。

  • TGO-IIは、Centered Kernel Alignment (CKA)、Singular Vector Canonical Correlation Analysis (SVCCA)、Two-Nearest Neighbor Intrinsic Dimensionality (TwoNN-ID)、およびトークン共分散分析を使用してViT-Small/16の表現を分析します。
  • CKAとSVCCAスコアは学習を通じて段階的に減少し、層全体で表現の専門化が増加していることを示しています。
  • 内在的次元性は安定化する前に一貫して増加し、表現多様体がより多くの局所的にアクセス可能な自由度を持つ大きなセットへと拡大することを示唆しています。
  • トークン共分散および結合分析は、強力なトークン相互作用構造が学習を通じて持続していることを示しています。

これらの知見は、表現の複雑さと層の専門化が学習中に同時に出現し、トークンの脱結合なしに多様体の拡大が発生することを示唆しています。