Un estudio demuestra que un algoritmo simple de Monte Carlo puede entrenar eficazmente redes neuronales profundas sin depender de gradientes o retropropagación. El método implica mutar aleatoriamente los parámetros y retener los cambios solo si la pérdida disminuye, lo que le permite evitar los problemas de gradientes que desaparecen o explotan.
- El enfoque funciona en GPUs individuales y no requiere normalización por lotes ni conexiones residuales.
- Soporta entrenamiento con poda pura, pesos discretos y funciones de transferencia no convencionales como la gaussiana.
- La viabilidad se mostró en redes con más de 20 capas, redes anchas con 16,384 neuronas y un Transformer en MNIST y Tiny Shakespeare.
Este método libre de gradientes ofrece una perspectiva complementaria sobre la autoorganización de las redes neuronales y proporciona una alternativa para construir sistemas de aprendizaje profundo inspirados físicamente.