TGO-II analiza cómo evoluciona la geometría de las representaciones de ViT durante el entrenamiento supervisado

El Observatorio de Geometría del Transformer-II (TGO-II) es un marco diseñado para investigar la evolución de las representaciones de Vision Transformer durante el entrenamiento supervisado, abordando la falta de comprensión sobre sus cambios geométricos.

• TGO-II analiza las representaciones de ViT-Small/16 utilizando Centered Kernel Alignment (CKA), Singular Vector Canonical Correlation Analysis (SVCCA), Two-Nearest Neighbor Intrinsic Dimensionality (TwoNN-ID) y análisis de covarianza de tokens.
• Las puntuaciones de CKA y SVCCA disminuyen progresivamente durante todo el entrenamiento, lo que indica una especialización representacional creciente entre capas.
• La dimensionalidad intrínseca aumenta consistentemente antes de estabilizarse, sugiriendo que el manifold de representación se expande hacia un conjunto más grande de grados de libertad localmente accesibles.
• Los análisis de covarianza y acoplamiento de tokens muestran que una fuerte estructura de interacción entre tokens persiste durante todo el entrenamiento.

Estos hallazgos sugieren que la complejidad de las representaciones y la especialización de las capas emergen simultáneamente durante el entrenamiento, con una expansión del manifold que ocurre sin desacoplamiento de tokens.