本論文は、スカラー出力の最小二乗問題における孤立した平坦な極小値からの大ステップサイズの勾配降下に関する最近の理論的結果を、ベクトル値出力と平坦な極小値の多様体に拡張する。著者は、MacDonald らによって確立された正規形および3つの収束定理をこのより広い設定に一般化し、特異偏微分方程式の求解などの技術的課題に対処している。

  • この枠組みは、任意の数の観測値を持つ回帰を含む、ベクトル値出力を持つ過剰パラメータ化された最小二乗問題に適用できる。
  • 解析は、行列因子分解などの応用に不可欠な平坦な極小値の多様体の近傍をカバーしている。
  • 著者は、平坦な極小値の集合が球の積上にファイバー束を形成し、鋭利さがこの多様体上でモルス・ボット型であることを証明した。
  • この枠組みは、穏やかな仮定の下で深層行列因子分解に関する新しい構造的結果をもたらす。

本研究は、深層学習の応用で一般的に見られる平坦な極小値を持つ複雑な地形における勾配降下の動態を理解するための厳密な理論的基盤を提供する。