TGO-II анализирует, как эволюционирует геометрия представлений ViT в процессе обучения с учителем

Трансформерная Геометрическая Обсерватория-II (TGO-II) — это фреймворк, разработанный для исследования эволюции представлений Vision Transformer в процессе обучения с учителем, что позволяет устранить недостаток понимания их геометрических изменений.

• TGO-II анализирует представления ViT-Small/16 с помощью Centered Kernel Alignment (CKA), Singular Vector Canonical Correlation Analysis (SVCCA), Two-Nearest Neighbor Intrinsic Dimensionality (TwoNN-ID) и анализа ковариации токенов.
• Оценки CKA и SVCCA последовательно снижаются на протяжении всего обучения, что указывает на растущую специализацию представлений между слоями.
• Внутренняя размерность последовательно увеличивается перед стабилизацией, что предполагает расширение многообразия представлений в большее множество локально доступных степеней свободы.
• Анализ ковариации и связи токенов показывает, что сильная структура взаимодействия токенов сохраняется на протяжении всего обучения.

Эти результаты указывают на то, что сложность представлений и специализация слоев возникают одновременно в процессе обучения, при этом расширение многообразия происходит без разделения токенов.