L'article introduit une thèse de jlorraine qui aborde les défis de l'application de l'optimisation à deux niveaux ou imbriquée aux configurations d'apprentissage profond à grande échelle. Alors que l'optimisation basée sur le gradient met généralement à jour un seul ensemble de paramètres, de nombreuses applications nécessitent la mise à jour de sous-ensembles de paramètres sur différents objectifs imbriqués les uns dans les autres.

  • Le travail se concentre sur des exemples motivants tels que l'optimisation des hyperparamètres et les réseaux génératifs adversariaux.
  • Il souligne que l'application naïve des méthodes classiques échoue souvent lors de la résolution de ces problèmes imbriqués à grande échelle.
  • La thèse construit des outils spécifiques conçus pour rendre l'optimisation imbriquée évolutive dans les contextes d'apprentissage profond.