Ce travail présente une nouvelle approche pour adapter l'architecture des réseaux neuronaux selon la profondeur sur la base d'une estimation d'erreur a posteriori. En formulant l'entraînement du réseau neuronal comme un problème de contrôle optimal en temps continu, les auteurs dérivent des estimations d'erreur rigoureuses qui quantifient comment l'erreur d'approximation se répartit à travers les couches du réseau.

  • De nouvelles couches sont insérées aux endroits de l'erreur estimée maximale pour capturer les variations complexes et non linéaires.
  • Le cadre traite les poids et les biais comme des fonctions linéaires par morceaux variant entre les couches.
  • La méthodologie du résidu pondéré dual issue de l'analyse par éléments finis est utilisée pour dériver des bornes supérieures calculables sur l'erreur fonctionnelle.
  • Les bornes d'erreur explicites décomposent l'erreur d'approximation totale en contributions intervalle par intervalle pour un raffinement ciblé.
  • La méthode a été démontrée sur des ensembles de données scientifiques, y compris l'apprentissage de la carte observable-vers-paramètre pour l'équation de Navier-Stokes.

Les résultats numériques révèlent que cette approche surpasse systématiquement les méthodes d'adaptation d'architecture existantes en termes de performance de généralisation.