Un estudio utiliza la teoría ergódica multiplicativa para analizar los gradientes explosivos y desvanecientes en redes neuronales profundas. Muestra que las conexiones residuales afectan el espectro de Liapunov, tal como lo caracterizaron Furstenberg y Kifer, estabilizando así el flujo del gradiente durante el entrenamiento.
Las conexiones residuales mitigan problemas de gradiente en redes profundas
Traducido del English → Español