TGO-I: Geometría espectral de los Vision Transformers
TGO-I analiza la geometría espectral de los Vision Transformers utilizando ViT-Small/16 entrenado en ImageNet-100. Revela un aumento en la utilización dimensional y una reducción de la anisotropía, con espectros propios que se vuelven más planos y entropía espectral creciente. El token CLS final muestra la mayor dimensionalidad efectiva y la menor anisotropía, lo que indica una distribución amplia de varianza a través de las dimensiones.