В статье представлена диссертация jlorraine, которая решает проблемы применения двухуровневой или вложенной оптимизации к крупномасштабным настройкам глубокого обучения. В то время как градиентная оптимизация обычно обновляет один набор параметров, во многих приложениях требуется обновление подмножеств параметров по различным целям, вложенным друг в друга.
- Работа фокусируется на мотивирующих примерах, таких как оптимизация гиперпараметров и генеративно-состязательные сети.
- Подчеркивается, что наивное применение классических методов часто терпит неудачу при решении этих вложенных проблем в масштабе.
- Диссертация разрабатывает специфические инструменты, предназначенные для обеспечения масштабируемости вложенной оптимизации в контекстах глубокого обучения.