Este artículo analiza la probabilidad de que la trayectoria de un modelo permanezca dentro de regiones de fallo designadas cuando se entrena utilizando descenso de gradiente ruidoso, idealizado como dinámica de Langevin amortiguada.
- La masa de equilibrio de una región de fallo es exponencialmente pequeña en la dimensión d, con una tasa de barrera energética complementaria para ruido pequeño.
- Un límite libre de forma muestra que la probabilidad dentro del conjunto se relaja al valor estático después de un tiempo de calentamiento del orden de d, dependiendo de la brecha espectral global.
Un ejemplo de Ornstein-Uhlenbeck demuestra que puede ocurrir una hinchazón transitoria, lo que requiere una tasa de relajación local asociada a la región de fallo.
Para regiones geométricamente aisladas, esta tasa local excede la global, reduciendo el tiempo de calentamiento y acotando la probabilidad de la trayectoria uniformemente en el tiempo.
El estudio concluye que, aunque la convexidad fuerte determina la velocidad de relajación, la forma del conjunto inseguro dicta si la trayectoria se abulta a través de él durante el entrenamiento.