본 논문은 은닉층 행렬의 조건수가 훈련 신뢰성에 미치는 영향에 초점을 맞추고, 스펙트럴 관점에서 Extreme Learning Machines (ELM)의 수치적 안정성을 분석합니다. 저자들은 최소 특이값이 출력 가중치의 섭동 증폭을 결정하고, 조건수가 은닉층 불안정성을 정량화함을 보여줍니다.

  • ill-conditioning 하에서 SVD 기반 가역 역수 계산은 반복 hyperpower 방법과 비교하여 가장 신뢰할 수 있는 방법으로 식별됩니다.
  • 반복 방법은 행렬의 스펙트럴 특성에 더 민감함이 보입니다.
  • 무작위 특징 해석을 통해 너비 의존적 조건수가 논의됩니다.
  • 합성 행렬 및 ELM 벤치마크에 대한 실험은 안정성이 근본적으로 특이값 구조에 의해 지배됨을 확인합니다.

이 결과는 가역 역수를 기반으로 한 ELM의 안정성을 보장하기 위해 특이값 구조를 이해하는 것이 중요함을 시사합니다.