Este artículo extiende resultados teóricos recientes sobre el descenso de gradiente con pasos grandes desde mínimos planos aislados en problemas de mínimos cuadrados con salida escalar hacia salidas vectoriales y variedades de mínimos planos. Los autores generalizan la forma normal y tres teoremas de convergencia establecidos por MacDonald et al. a este contexto más amplio, abordando desafíos técnicos como resolver una ecuación diferencial parcial singular.
- El marco se aplica a mínimos cuadrados sobreparametrizados con salidas vectoriales, incluyendo regresión con un número arbitrario de observaciones.
- El análisis cubre vecindarios de una variedad de mínimos planos, lo cual es esencial para aplicaciones como la factorización de matrices.
- Los autores demuestran que el conjunto de mínimos planos forma un fibrado sobre un producto de esferas y que la agudeza es Morse-Bott a lo largo de esta variedad.
- El marco produce nuevos resultados estructurales para la factorización profunda de matrices bajo supuestos moderados.
Este trabajo proporciona una base teórica rigurosa para comprender la dinámica del descenso de gradiente en paisajes complejos con mínimos planos, que son comunes en aplicaciones de aprendizaje profundo.