Cet article analyse la probabilité qu'une trajectoire d'un modèle reste dans des régions d'échec désignées lors de l'entraînement par descente de gradient bruitée, idéalisée comme une dynamique de Langevin suramortie.
- La masse à l'équilibre d'une région d'échec est exponentiellement petite par rapport à la dimension d, avec un taux de barrière énergétique complémentaire pour un bruit faible.
- Une borne indépendante de la forme montre que la probabilité d'être dans l'ensemble se relaxe vers la valeur statique après un temps de burn-in de l'ordre de d, en s'appuyant sur le trou spectral global.
- Un exemple d'Ornstein-Uhlenbeck démontre qu'un gonflement transitoire peut se produire, nécessitant un taux de relaxation local attaché à la région d'échec.
- Pour les régions géométriquement isolées, ce taux local dépasse le taux global, réduisant le burn-in et bornant uniformément dans le temps la probabilité de la trajectoire.
L'étude conclut que si la convexité forte détermine la vitesse de relaxation, la forme de l'ensemble non sûr dicte si la trajectoire s'enfle à travers celui-ci pendant l'entraînement.