Исследование демонстрирует, что простой алгоритм Монте-Карло может эффективно обучать глубокие нейронные сети без использования градиентов или обратного распространения. Метод включает случайное мутационное изменение параметров и сохранение изменений только в случае уменьшения функции потерь, что позволяет обойти проблемы исчезающих и взрывающихся градиентов.

  • Подход работает на одних GPU и не требует пакетной нормализации или остаточных связей.
  • Он поддерживает обучение с чистым прунингом, дискретные веса и нестандартные функции активации, такие как гауссова.
  • Возможность была продемонстрирована на сетях с более чем 20 слоями, широких сетях с 16,384 нейронами и на архитектуре Transformer для датасетов MNIST и Tiny Shakespeare.

Этот метод без градиентов предлагает дополнительную перспективу самоорганизации нейронных сетей и предоставляет альтернативу для создания систем глубокого обучения, вдохновленных физикой.