本文将对标量输出最小二乘问题中孤立平面极小值的梯度下降的大步长近期理论结果,扩展到向量输出和平面极小值流形。作者将 MacDonald 等人确立的法形式和三个收敛定理推广到这一更广泛的设定中,解决了诸如求解奇异偏微分方程等技术挑战。
- 该框架适用于具有向量输出的过参数化最小二乘问题,包括具有任意数量观测值的回归。
- 分析涵盖了平面极小值流形的邻域,这对于矩阵分解等应用至关重要。
- 作者证明了平面极小值集合构成球体乘积上的纤维丛,并且沿此流形的尖锐度是 Morse-Bott 的。
- 在温和假设下,该框架为深度矩阵分解提供了新的结构结果。
这项工作为理解复杂景观中梯度下降动力学提供了严格的理论基础,其中平面极小值在深度学习应用中很常见。