एक शोधकर्ता ने nanoGPT, ResNet-18 और एक डिफ्यूजन U-Net पर कारणिक प्रयोग किए ताकि प्रशिक्षण, सीखने और निष्कर्षण की यांत्रिकी का पता लगाया जा सके। परिणाम संकेत देते हैं कि ये प्रक्रियाएँ एक निरंतर चक्र बनाती हैं जहाँ अपडेट गैर-रेखीय प्रतिक्रियाओं और स्थायी कार्यात्मक पुनर्गठन का कारण बनते हैं, जो बाद की अवस्थाओं को प्रभावित करते हैं।

  • विभिन्न प्राप्तकर्ता अवस्थाओं पर समान अपडेट लागू करने से भिन्न प्रभाव उत्पन्न होते हैं।
  • सीखने में वितरित कार्यात्मक समर्थन में स्थायी परिवर्तन छोड़ जाता है।
  • फ्रोज़ेन निष्कर्षण इस समर्थन को भर्ती करता है, और फीडबैक भविष्य की सीख के लिए अवस्था को बदल देता है।
  • यह संरचनात्मक संबंध विभिन्न आर्किटेक्चर, कार्यों, मोडालिटीज़ और ऑप्टिमाइज़र्स में लागू होता है।

लेखक न्यूरल नेटवर्कों को साधारण पैरामीटराइज्ड इनपुट-आउटपुट फ़ंक्शन के बजाय शासी अवस्था गतिशील प्रणालियों के रूप में देखने का सुझाव देता है, जिसका समर्थन एक लिंक किए गए पेपर और GitHub रिपॉजिटरी द्वारा किया गया है।