本論文は、ノイズ付き勾配降下法(過減衰ランジュバンダイナミクスとして理想化される)を用いて学習する際、モデルの軌道が指定された失敗領域内に留まる確率を解析する。
- 失敗領域の平衡質量は次元 d に対して指数関数的に小さく、小さなノイズに対して補完的なエネルギー障壁レートを持つ。
- 形状非依存の限界は、大域的スペクトルギャップに依存し、d 次のバーンイン時間の後に集合内確率が静的値に緩和することを示す。
- オルンシュタイン・ウルレンベックの例は、一時的な膨張が発生しうることを示しており、失敗領域に付随する局所的緩和レートが必要であることを実証している。
- 幾何学的に孤立した領域では、この局所レートが大域的レートを超え、バーンインを縮小し、時間に対して軌道確率を一様に制限する。
本研究の結論として、強凸性は緩和速度を決定するが、安全でない集合の形状が学習中に軌道がそれを突き抜けるかどうかを規定するとされている。