한 연구원은 nanoGPT, ResNet-18 및 확산 U-Net에 인과 실험을 수행하여 훈련, 학습 및 추론의 메커니즘을 조사했습니다. 결과는 이러한 과정이 업데이트로 인해 비선형 반응과 지속적인 기능적 재구성을 일으키며, 이는 이후 상태에 영향을 미치는 연속적인 순환을 형성한다는 것을 나타냅니다.
- 동일한 업데이트를 다른 수신 상태에 적용하면 서로 다른 효과가 발생합니다.
- 학습은 분산된 기능적 지원에 지속적인 변화를 남깁니다.
- 동결 추론은 이 지원을 활용하며, 피드백은 미래 학습을 위해 상태를 변경합니다.
- 이러한 구조적 관계는 서로 다른 아키텍처, 작업, 모달리티 및 최적화자에 걸쳐 성립합니다.
저자는 신경망을 단순한 매개변수화된 입력-출력 함수가 아닌 고전적 상태 동적 시스템으로 보는 것을 제안하며, 이는 연결된 논문과 GitHub 저장소로 뒷받침됩니다.