В данной статье недавние теоретические результаты о градиентном спуске с большими шагами, ранее полученные для изолированных плоских минимумов в задачах наименьших квадратов со скалярным выходом, расширяются на векторные выходы и многообразия плоских минимумов. Авторы обобщают нормальную форму и три теоремы о сходимости, установленные MacDonald et al., на эту более широкую постановку задачи, решая такие технические проблемы, как решение вырожденного уравнения в частных производных.
- Предложенная рамка применима к переобученным задачам наименьших квадратов с векторными выходами, включая регрессию с произвольным числом наблюдений.
- Анализ охватывает окрестности многообразия плоских минимумов, что имеет важное значение для таких приложений, как факторизация матриц.
- Авторы доказывают, что множество плоских минимумов образует расслоение над произведением сфер, а крутизна является морсовской по Ботту вдоль этого многообразия.
- Предложенная рамка дает новые структурные результаты для глубокой факторизации матриц при мягких допущениях.
Эта работа предоставляет строгую теоретическую основу для понимания динамики градиентного спуска в сложных ландшафтах с плоскими минимумами, которые часто встречаются в приложениях глубокого обучения.