Исследователь провел каузальные эксперименты на nanoGPT, ResNet-18 и диффузионной U-Net для изучения механики обучения, тренировки и вывода. Результаты указывают на то, что эти процессы образуют непрерывный цикл, где обновления вызывают нелинейные реакции и устойчивую функциональную реорганизацию, которые затем влияют на последующие состояния.
- Применение одного и того же обновления к разным принимающим состояниям дает разные эффекты.
- Обучение оставляет устойчивые изменения в распределенной функциональной поддержке.
- Замороженное привлечение этой поддержки влияет на состояние для будущего обучения.
- Эта структурная связь сохраняется в разных архитектурах, задачах, модальностях и оптимизаторах.
Автор предлагает рассматривать нейронные сети как классические динамические системы с памятью, а не просто параметризованные функции ввода-вывода, что подтверждается связанной статьей и репозиторием GitHub.