Este artigo analisa a probabilidade de que a trajetória de um modelo permaneça dentro de regiões de falha designadas quando treinado usando descida de gradiente ruidosa, idealizada como dinâmica de Langevin amortecida.
- A massa de equilíbrio de uma região de falha é exponencialmente pequena na dimensão d, com uma taxa de barreira de energia complementar para ruído pequeno.
- Um limite independente de forma mostra que a probabilidade dentro do conjunto relaxa para o valor estático após um tempo de aquecimento da ordem de d, dependendo da lacuna espectral global.
- Um exemplo de Ornstein-Uhlenbeck demonstra que uma inchaço transitório pode ocorrer, exigindo uma taxa de relaxação local associada à região de falha.
Para regiões geometricamente isoladas, esta taxa local excede a global, reduzindo o tempo de aquecimento e limitando a probabilidade da trajetória uniformemente ao longo do tempo.
O estudo conclui que, embora a convexidade forte determine a velocidade de relaxação, a forma do conjunto inseguro dita se a trajetória se dilata através dele durante o treinamento.