TGO-II analisa como a geometria das representações do ViT evolui durante o treinamento supervisionado

O Observatório de Geometria do Transformer-II (TGO-II) é um framework projetado para investigar a evolução das representações do Vision Transformer durante o treinamento supervisionado, abordando a falta de compreensão sobre suas mudanças geométricas.

• O TGO-II analisa as representações do ViT-Small/16 usando Centered Kernel Alignment (CKA), Singular Vector Canonical Correlation Analysis (SVCCA), Two-Nearest Neighbor Intrinsic Dimensionality (TwoNN-ID) e análise de covariância de tokens.
• As pontuações de CKA e SVCCA diminuem progressivamente durante todo o treinamento, indicando uma especialização representacional crescente entre as camadas.
• A dimensionalidade intrínseca aumenta consistentemente antes de se estabilizar, sugerindo que o manifold de representação se expande para um conjunto maior de graus de liberdade localmente acessíveis.
• As análises de covariância e acoplamento de tokens mostram que uma forte estrutura de interação entre tokens persiste durante todo o treinamento.

Esses achados sugerem que a complexidade das representações e a especialização das camadas emergem simultaneamente durante o treinamento, com a expansão do manifold ocorrendo sem desacoplamento de tokens.