एक नया प्रिंटपेपर आठ स्थानीय रूप से इंस्ट्रूमेंटेड छोटे खुले Transformer मॉडलों में छिपी अवस्था की गतिशीलता का विश्लेषण करता है यह निर्धारित करने के लिए कि क्या आंतरिक प्रतिनिधित्व अनुमान के दौरान एक संरचित प्रगति का पालन करते हैं। अध्ययन मॉडल की गहराई भर होने वाले परिवर्तनों और ऑटोरेग्रेशन जनरेशन समय पर विकसित होने वाले परिवर्तनों के बीच अंतर करता है।

  • मॉडल की गहराई भर स्थानीय क्रम यादृच्छिक क्रमचयों की तुलना में काफी अधिक संरचित था (p = 0.00019996) और सभी लीव-वन-मॉडल-आउट जाँचों में बना रहा।
  • क्रॉस-मॉडल गहराई प्रोफ़ाइल में उच्च सहसंबंध था जिसका माध्य सहसंबंध लगभग r = 0.789 था।
  • कार्यात्मक रूप से लेबल किए गए घटनाएँ सामान्यीकृत परत गहराई के साथ सांख्यिकीय रूप से जुड़ी हुई थीं (p = 0.0024)।
  • पहले देखा गया एक सामान्य कालिक पैटर्न विस्तारित पैनल में पुनरुत्पादित करने में असफल रहा, जो 0/8 लीव-वन-मॉडल-आउट जाँचों में टिका रहा।
  • समान कार्यात्मक परिणाम वाले या एक ही आर्किटेक्चर परिवार से मॉडलों ने महत्वपूर्ण संरचनात्मक समानता नहीं दिखाई।

परिणाम सुझाव देते हैं कि Transformer अनुमान में गहराई भर पुनरुत्पादित संरचना होती है जबकि समय और व्यवहार में अत्यधिक शर्तों पर निर्भर रहती है, जो एक सार्वभौमिक कालिक गतिशीलता के विचार को चुनौती देती है।