В данной статье анализируется численная устойчивость экстремальных машин обучения (ELM) с спектральной точки зрения, уделяя особое внимание тому, как обусловленность матрицы скрытого слоя влияет на надежность обучения. Авторы показывают, что наименьшее сингулярное значение определяет усиление возмущений в выходных весах, а число обусловленности количественно оценивает нестабильность скрытого слоя.

  • Вычисление псевдообратной матрицы на основе SVD признано наиболее надежным методом при плохой обусловленности по сравнению с итеративными гиперстепенными методами.
  • Показано, что итеративные методы более чувствительны к спектральным свойствам матрицы.
  • Обсуждается обусловленность, зависящая от ширины, через интерпретацию случайных признаков.
  • Эксперименты на синтетических матрицах и бенчмарках ELM подтверждают, что устойчивость фундаментально определяется структурой сингулярных значений.

Полученные результаты указывают на то, что понимание структуры сингулярных значений имеет решающее значение для обеспечения устойчивости ELM на основе псевдообратной матрицы.