В данной работе представлен новый подход к адаптации архитектуры нейронной сети по глубине на основе a posteriori оценки ошибок. Формализуя обучение нейронной сети как задачу оптимального управления в непрерывном времени, авторы выводят строгие оценки ошибок, которые количественно определяют распределение ошибки аппроксимации по слоям сети.
- Новые слои добавляются в местах максимальной оцененной ошибки для захвата сложных нелинейных вариаций.
- Фреймворк рассматривает веса и смещения как кусочно-линейные функции, изменяющиеся по слоям.
- Для вывода вычислимых верхних границ функциональной ошибки используется метод двойственных взвешенных остатков из анализа конечно-элементного моделирования.
- Явные границы ошибок разлагают общую ошибку аппроксимации на вклад в пределах интервалов для целенаправленного уточнения.
- Метод был продемонстрирован на научных наборах данных, включая обучение отображению от наблюдаемых к параметрам для уравнения Навье-Стокса.
Численные результаты показывают, что этот подход последовательно превосходит существующие методы адаптации архитектуры с точки зрения обобщающей способности.