Um estudo demonstra que um algoritmo simples de Monte Carlo pode treinar efetivamente redes neurais profundas sem depender de gradientes ou retropropagação. O método envolve mutar aleatoriamente os parâmetros e reter as mudanças apenas se a perda diminuir, permitindo contornar problemas de gradientes que desaparecem ou explodem.
- A abordagem funciona em GPUs individuais e não requer normalização por lote ou conexões residuais.
- Suporta treinamento com poda pura, pesos discretos e funções de transferência não convencionais como a gaussiana.
- A viabilidade foi demonstrada em redes com mais de 20 camadas, redes largas com 16.384 neurônios e um Transformer no MNIST e Tiny Shakespeare.
Este método livre de gradientes oferece uma perspectiva complementar sobre a auto-organização de redes neurais e fornece uma alternativa para construir sistemas de aprendizado profundo inspirados na física.