Transformer Geometry Observatory-II (TGO-II) एक फ्रेमवर्क है जिसे निगरानी प्रशिक्षण के दौरान Vision Transformer प्रतिनिधित्वों के विकास की जांच करने के लिए डिज़ाइन किया गया है, जिसमें उनकी ज्यामितीय परिवर्तनों को समझने की कमी को दूर किया जाता है।
- TGO-II Centered Kernel Alignment (CKA), Singular Vector Canonical Correlation Analysis (SVCCA), Two-Nearest Neighbor Intrinsic Dimensionality (TwoNN-ID) और टोकन सहप्रसरण विश्लेषण का उपयोग करके ViT-Small/16 प्रतिनिधित्वों का विश्लेषण करता है।
- CKA और SVCCA स्कोर पूरे प्रशिक्षण के दौरान क्रमिक रूप से कम होते हैं, जो परतों के बीच बढ़ते हुए प्रतिनिधित्व विशेषीकरण की ओर संकेत करते हैं।
- आंतरिक आयाम स्थिर होने से पहले लगातार बढ़ता है, जो सुझाव देता है कि प्रतिनिधित्व मैनिफोल्ड स्थानीय रूप से सुलभ स्वतंत्रता की कोटि के एक बड़े समूह में विस्तारित हो रहा है।
- टोकन सहप्रसरण और युग्मन विश्लेषण दिखाते हैं कि मजबूत टोकन अंतःक्रिया संरचना पूरे प्रशिक्षण के दौरान बनी रहती है।
इन निष्कर्षों से पता चलता है कि प्रतिनिधित्व जटिलता और परत विशेषीकरण प्रशिक्षण के दौरान एक साथ उत्पन्न होते हैं, जिसमें टोकन अयुग्मन के बिना मैनिफोल्ड विस्तार होता है।