이 논문은 노이즈가 있는 경사 하강법(과감쇠 랑주뱅 동역학으로 이상화됨)을 사용하여 학습할 때 모델의 궤적이 지정된 실패 영역 내에 머무를 확률을 분석합니다.
- 실패 영역의 평형 질량은 차원 d에 대해 지수적으로 작으며, 작은 노이즈에 대해 보완적인 에너지 장벽률을 가집니다.
- 형태 비종속 한계는 전역 스펙트럴 갭에 의존하여, d 차수의 번인 시간 후에 집합 내 확률이 정적 값으로 완화됨을 보여줍니다.
- 오른슈타인-울렌벡 예시는 일시적인 팽창이 발생할 수 있음을 보여주며, 실패 영역에 부착된 국소 완화율이 필요함을 입증합니다.
- 기하학적으로 고립된 영역의 경우, 이 국소율이 전역율을 초과하여 번인을 축소하고 시간 동안 궤적 확률을 균일하게 제한합니다.
이 연구는 강한 볼록성이 완화 속도를 결정하지만, 안전하지 않은 집합의 형태가 학습 중 궤적이 이를 뚫고 나가는지 여부를 결정한다고 결론짓습니다.