研究により、単純なモンテカルロアルゴリズムが勾配や逆伝播に頼らずに深層ニューラルネットワークを効果的に訓練できることが示された。この手法はパラメータをランダムに変異させ、損失が減少した場合のみ変更を保持し、消失勾配や爆発的勾配の問題を回避する。

  • このアプローチは単一のGPUで動作し、バッチ正規化や残差接続を必要としない。
  • プルーニング訓練のみのサポート、離散重み、ガウス関数などの非伝統的な転移関数をサポートする。
  • 20層以上のネットワーク、16,384ニューロンを持つ広大なネットワーク、MNISTおよびTiny Shakespeare上のTransformerで実現可能性が示された。

この勾配フリーの手法は、ニューラルネットワークの自己組織化に対する補完的な視点を提供し、物理的にインスパイアされた深層学習システムの構築のための代替手段となる。