Este artigo estende resultados teóricos recentes sobre gradiente descendente com passos grandes de mínimos planos isolados em problemas de mínimos quadrados com saída escalar para saídas vetoriais e variedades de mínimos planos. Os autores generalizam a forma normal e três teoremas de convergência estabelecidos por MacDonald et al. para este contexto mais amplo, abordando desafios técnicos como resolver uma equação diferencial parcial singular.
- O framework se aplica a mínimos quadrados superparametrizados com saídas vetoriais, incluindo regressão com um número arbitrário de observações.
- A análise cobre vizinhanças de uma variedade de mínimos planos, o que é essencial para aplicações como fatoração de matrizes.
- Os autores provam que o conjunto de mínimos planos forma um fibrado sobre um produto de esferas e que a nitidez é Morse-Bott ao longo desta variedade.
- O framework produz novos resultados estruturais para fatoração profunda de matrizes sob suposições brandas.
Este trabalho fornece uma base teórica rigorosa para entender a dinâmica do gradiente descendente em paisagens complexas com mínimos planos, que são comuns em aplicações de aprendizado profundo.