TGO-II 分析监督训练期间 ViT 表示几何的演变

Transformer Geometry Observatory-II (TGO-II) 是一个旨在研究 Vision Transformer 在监督训练期间表示演变的框架，以解决对其几何变化理解不足的问题。

• TGO-II 使用 Centered Kernel Alignment (CKA)、Singular Vector Canonical Correlation Analysis (SVCCA)、Two-Nearest Neighbor Intrinsic Dimensionality (TwoNN-ID) 和 token 协方差分析来分析 ViT-Small/16 的表示。
• CKA 和 SVCCA 分数在整个训练过程中逐渐降低，表明层间表示的专业化程度不断提高。
• 内在维度在稳定之前持续增加，表明表示流形扩展到了更大的局部可访问自由度集合中。
• Token 协方差和耦合分析显示，强烈的 token 交互结构在整个训练过程中持续存在。

这些发现表明，表示复杂性和层专业化在训练期间同时出现，且流形的扩展是在没有 token 解耦的情况下发生的。