Las Redes Neuronales Profundas con Estructura Sublineal Logran Coherencia en el Aprendizaje de Características para Funciones Composicionales

Este estudio establece garantías de coherencia en el aprendizaje de características para una amplia subclase de redes neuronales profundas caracterizadas por un crecimiento sublineal en las dimensiones de entrada/salida y en las neuronas ocultas en relación con el tamaño de la muestra. Los autores demuestran que estas arquitecturas logran aproximación universal para funciones composicionales jerárquicas, incluso dentro del régimen sobreparametrizado convencional donde los parámetros superan a las muestras de entrenamiento.

• Las RNP con estructura sublineal alcanzan coherencia en el aprendizaje de características y predicción comparable a los modelos clásicos al aprender funciones objetivo composicionales jerárquicas.
• Los resultados empíricos muestran que las redes con estructura sublineal igualan o superan a las RP amplias en rendimiento de predicción.
• Una auditoría estructural confirma que las redes neuronales convolucionales ampliamente utilizadas, incluidas AlexNet, VGGNet, ResNet y GoogLeNet, tienen una estructura sublineal en benchmarks de clasificación de imágenes.
• La investigación proporciona una explicación estadística para el éxito de los modelos de aprendizaje profundo a gran escala entrenados en conjuntos masivos de datos de imágenes debido a la estructura jerárquica inherente de las imágenes.