TGO-II analyse l'évolution de la géométrie des représentations ViT pendant l'entraînement supervisé

Le Transformer Geometry Observatory-II (TGO-II) est un cadre conçu pour étudier l'évolution des représentations du Vision Transformer pendant l'entraînement supervisé, en répondant au manque de compréhension concernant leurs changements géométriques.

• TGO-II analyse les représentations ViT-Small/16 à l'aide de l'Alignement de Noyau Centrée (CKA), de l'Analyse de Corrélation Canonique des Vecteurs Singuliers (SVCCA), de la Dimensionnalité Intrinsèque à Deux Plus Proches Voisins (TwoNN-ID) et de l'analyse de la covariance des tokens.
• Les scores CKA et SVCCA diminuent progressivement tout au long de l'entraînement, indiquant une spécialisation représentationnelle croissante à travers les couches.
• La dimensionnalité intrinsèque augmente de manière cohérente avant de se stabiliser, suggérant que le manifold de représentation s'étend vers un ensemble plus large de degrés de liberté localement accessibles.
• Les analyses de covariance et de couplage des tokens montrent qu'une structure d'interaction forte entre les tokens persiste tout au long de l'entraînement.

Ces résultats suggèrent que la complexité des représentations et la spécialisation des couches émergent simultanément pendant l'entraînement, avec une expansion du manifold se produisant sans découplage des tokens.