이 논문은 스칼라 출력 최소 제곱 문제의 고립된 평평한 최소값에서 벡터 값 출력과 평평한 최소값의 다양체로 큰 단계 크기의 경사 하강에 관한 최근의 이론적 결과를 확장합니다. 저자들은 MacDonald 등이 확립한 정규형과 세 가지 수렴 정리를 이 더 넓은 설정으로 일반화하여 특이 편미분 방정식 풀이와 같은 기술적 과제를 해결했습니다.
- 이 프레임워크는 임의로 많은 관측치를 가진 회귀를 포함하여 벡터 값 출력을 가진 과매개변수화된 최소 제곱에 적용됩니다.
- 분석은 행렬 인수분해와 같은 응용 분야에 필수적인 평평한 최소값 다양체의 근방을 다룹니다.
- 저자들은 평평한 최소값의 집합이 구들의 곱 위에 섬유다발을 형성하며 날카로움이 이 다양체를 따라 Morse-Bott 성질을 가진다는 것을 증명했습니다.
- 이 프레임워크는 약간의 가정 하에 심층 행렬 인수분해에 대한 새로운 구조적 결과를 도출합니다.
이 연구는 심층 학습 응용 분야에서 흔히 볼 수 있는 평평한 최소값을 가진 복잡한 지형에서 경사 하강 역학을 이해하기 위한 엄격한 이론적 기반을 제공합니다.