Cet article étend les résultats théoriques récents sur le gradient à grands pas, issus des minima plats isolés dans les problèmes de moindres carrés à sortie scalaire, aux sorties vectorielles et aux variétés de minima plats. Les auteurs généralisent la forme normale et trois théorèmes de convergence établis par MacDonald et al. à ce cadre plus large, en relevant des défis techniques tels que la résolution d'une équation aux dérivées partielles singulière.
- Le cadre s'applique aux moindres carrés surparamétrisés avec sorties vectorielles, y compris la régression avec un nombre arbitraire d'observations.
- L'analyse couvre les voisinages d'une variété de minima plats, ce qui est essentiel pour des applications telles que la factorisation de matrices.
- Les auteurs démontrent que l'ensemble des minima plats forme un fibré en fibres au-dessus d'un produit de sphères et que la singularité (sharpness) est de type Morse-Bott le long de cette variété.
- Le cadre fournit de nouveaux résultats structurels pour la factorisation matricielle profonde sous des hypothèses modérées.
Ce travail offre un fondement théorique rigoureux pour comprendre la dynamique du gradient dans des paysages complexes comportant des minima plats, fréquents dans les applications d'apprentissage profond.