TGO-II menganalisis bagaimana geometri representasi ViT berevolusi selama pelatihan terawasi

Transformer Geometry Observatory-II (TGO-II) adalah kerangka kerja yang dirancang untuk menyelidiki evolusi representasi Vision Transformer selama pelatihan terawasi, mengatasi kurangnya pemahaman mengenai perubahan geometris mereka.

• TGO-II menganalisis representasi ViT-Small/16 menggunakan Centered Kernel Alignment (CKA), Singular Vector Canonical Correlation Analysis (SVCCA), Two-Nearest Neighbor Intrinsic Dimensionality (TwoNN-ID), dan analisis kovarians token.
• Skor CKA dan SVCCA menurun secara progresif sepanjang pelatihan, menunjukkan peningkatan spesialisasi representasi di seluruh lapisan.
• Dimensi intrinsik meningkat secara konsisten sebelum stabil, menunjukkan bahwa manifold representasi meluas ke set derajat kebebasan yang lebih besar yang dapat diakses secara lokal.
• Analisis kovarians dan kopling token menunjukkan bahwa struktur interaksi token yang kuat bertahan sepanjang pelatihan.

Temuan ini menunjukkan bahwa kompleksitas representasi dan spesialisasi lapisan muncul secara bersamaan selama pelatihan, dengan ekspansi manifold terjadi tanpa dekopling token.