本文分析了在使用噪声梯度下降(理想化为过阻尼朗之万动力学)进行训练时,模型轨迹保持在指定失败区域内的概率。

  • 失败区域的平衡质量随维度 d 指数级减小,对于小噪声具有互补的能量势垒率。
  • 一个无形状界限表明,在长度为 d 量级的预热时间后,集合内概率会弛豫到静态值,这依赖于全局谱隙。
  • 奥恩斯坦-乌伦贝克(Ornstein-Uhlenbeck)示例表明,可能会发生瞬态膨胀,这需要附加到失败区域的局部弛豫率。

对于几何上隔离的区域,该局部速率超过全局速率,缩短预热时间并随时间均匀地限制轨迹概率。

研究表明,虽然强凸性决定了弛豫速度,但不安全集合的形状决定了轨迹在训练期间是否会从中凸起。