Sebuah studi menunjukkan bahwa algoritma Monte Carlo sederhana dapat secara efektif melatih jaringan saraf dalam tanpa bergantung pada gradien atau backpropagation. Metode ini melibatkan mutasi parameter secara acak dan hanya mempertahankan perubahan jika loss menurun, sehingga memungkinkan untuk menghindari masalah gradien yang menghilang atau meledak.

  • Pendekatan ini bekerja pada GPU tunggal dan tidak memerlukan normalisasi batch atau koneksi residual.
  • Mendukung pelatihan pruning murni, bobot diskrit, dan fungsi transfer tidak konvensional seperti Gaussian.
  • Kelayakan ditunjukkan pada jaringan dengan lebih dari 20 lapisan, jaringan lebar dengan 16.384 neuron, dan Transformer pada MNIST dan Tiny Shakespeare.

Metode bebas gradien ini menawarkan perspektif komplementer tentang organisasi diri jaringan saraf dan menyediakan alternatif untuk membangun sistem pembelajaran mendalam yang terinspirasi secara fisik.