一项研究表明，简单的蒙特卡洛算法可以有效地训练深度神经网络，而无需依赖梯度或反向传播。该方法涉及随机突变参数，并且仅在损失降低时保留更改，从而绕过消失和爆炸梯度问题。
- 该方法在单个 GPU 上运行，不需要批量归一化或残差连接。
- 它支持纯剪枝训练、离散权重以及高斯函数等非常规传递函数。
- 可行性已在超过 20 层的网络、拥有 16,384 个神经元的宽网络以及在 MNIST 和 Tiny Shakespeare 上的 Transformer 上得到展示。
这种无梯度方法为神经网络自组织提供了补充视角，并为构建受物理启发的深度学习系统提供了替代方案。