Глубокие нейронные сети с сублинейной структурой обеспечивают согласованность обучения признаков для композиционных функций

В данном исследовании установлены гарантии согласованности обучения признаков для широкого подкласса глубоких нейронных сетей, характеризующихся сублинейным ростом входных/выходных размерностей и количества скрытых нейронов относительно размера выборки. Авторы доказывают, что такие архитектуры обеспечивают универсальную аппроксимацию для иерархически композиционных функций, даже в рамках традиционного режима избыточной параметризации, где количество параметров превышает количество обучающих примеров.

• Глубокие нейронные сети с сублинейной структурой достигают согласованности обучения признаков и предсказаний, сопоставимой с классическими моделями, при обучении на иерархически композиционных целевых функциях.
• Эмпирические результаты показывают, что сети с сублинейной структурой по производительности предсказаний соответствуют широким глубоким нейронным сетям или превосходят их.
• Структурный аудит подтверждает, что широко используемые сверточные нейронные сети, включая AlexNet, VGGNet, ResNet и GoogLeNet, имеют сублинейную структуру на бенчмарках классификации изображений.
• Исследование дает статистическое объяснение успеха крупномасштабных моделей глубокого обучения, обученных на массивных наборах данных изображений, благодаря присущей изображениям иерархической структуре.