本文从谱的角度分析了极限学习机(ELM)的数值稳定性,重点关注隐藏层矩阵的条件数如何影响训练的可靠性。作者证明,最小奇异值决定了输出权重中扰动的放大程度,而条件数则量化了隐藏层的不稳定性。
- 与迭代超幂方法相比,基于SVD的伪逆计算被确定为在病态条件下最可靠的方法。
- 研究表明,迭代方法对矩阵的谱性质更敏感。
- 通过随机特征解释讨论了依赖于宽度的条件数。
- 在合成矩阵和ELM基准上的实验证实,稳定性从根本上由奇异值结构决定。
研究结果表明,理解奇异值结构对于确保基于伪逆的ELM的稳定性至关重要。
本文从谱的角度分析了极限学习机(ELM)的数值稳定性,重点关注隐藏层矩阵的条件数如何影响训练的可靠性。作者证明,最小奇异值决定了输出权重中扰动的放大程度,而条件数则量化了隐藏层的不稳定性。
研究结果表明,理解奇异值结构对于确保基于伪逆的ELM的稳定性至关重要。