Une étude démontre qu'un algorithme simple de Monte-Carlo peut efficacement entraîner des réseaux neuronaux profonds sans s'appuyer sur les gradients ou la rétropropagation. La méthode implique de muter aléatoirement les paramètres et de ne conserver les modifications que si la perte diminue, permettant ainsi de contourner les problèmes de gradient vanishing et exploding.

  • L'approche fonctionne sur des GPU uniques et ne nécessite ni normalisation par lot ni connexions résiduelles.
  • Elle prend en charge l'entraînement par élagage pur, les poids discrets et des fonctions de transfert non conventionnelles comme la gaussienne.
  • La faisabilité a été démontrée sur des réseaux de plus de 20 couches, des réseaux larges avec 16 384 neurones, et un Transformer sur MNIST et Tiny Shakespeare.

Cette méthode sans gradient offre une perspective complémentaire sur l'auto-organisation des réseaux neuronaux et fournit une alternative pour construire des systèmes d'apprentissage profond inspirés de la physique.