Cet article analyse la stabilité numérique des Machines à Apprentissage Extrême (ELM) d'un point de vue spectral, en se concentrant sur la façon dont le conditionnement de la matrice de la couche cachée affecte la fiabilité de l'entraînement. Les auteurs démontrent que la plus petite valeur singulière détermine l'amplification des perturbations dans les poids de sortie, tandis que le nombre de condition quantifie l'instabilité de la couche cachée.
- Le calcul de l'inverse généralisé basé sur la SVD est identifié comme la méthode la plus fiable en cas de mauvais conditionnement par rapport aux méthodes hyperpuissance itératives.
- Les méthodes itératives s'avèrent plus sensibles aux propriétés spectrales de la matrice.
- Le conditionnement dépendant de la largeur est discuté à travers une interprétation par caractéristiques aléatoires.
- Des expériences sur des matrices synthétiques et des benchmarks ELM confirment que la stabilité est fondamentalement gouvernée par la structure des valeurs singulières.
Les résultats suggèrent que comprendre la structure des valeurs singulières est critique pour garantir la stabilité des ELM basés sur l'inverse généralisé.