مرصد هندسة المحولات-II (TGO-II) هو إطار عمل مصمم للتحقيق في تطور تمثيلات Vision Transformer أثناء التدريب الخاضع للإشراف، مما يعالج نقص الفهم بشأن تغييراتها الهندسية.
- يحلل TGO-II تمثيلات ViT-Small/16 باستخدام محاذاة النواة المركزية (CKA)، وتحليل الارتباط canonical للمتجهات المفردة (SVCCA)، والبُعد الجوهري لأقرب جارين (TwoNN-ID)، وتحليل التغاير للرموز.
- تنخفض درجات CKA و SVCCA تدريجياً طوال فترة التدريب، مما يشير إلى زيادة التخصص التمثيلي عبر الطبقات.
- يزداد البُعد الجوهري باستمرار قبل أن يستقر، مما يشير إلى أن متعدد الشعب التمثيلي يتوسع نحو مجموعة أكبر من درجات الحرية القابلة للوصول محلياً.
- تُظهر تحليلات التغاير والاقتران للرموز أن بنية تفاعل الرموز القوية تستمر طوال فترة التدريب.
تشير هذه النتائج إلى أن تعقيد التمثيل وتخصص الطبقة يظهران في وقت واحد أثناء التدريب، مع حدوث توسع متعدد الشعب دون فك ارتباط الرموز.