본 기사는 대규모 딥러닝 설정에 이중 수준 또는 중첩 최적화를 적용하는 과제를 다루는 jlorraine 의 논문을 소개합니다. 그래디언트 기반 최적화는 일반적으로 단일 매개변수 집합을 업데이트하지만, 많은 응용 프로그램에서는 서로 중첩된 다른 목적 함수에 대해 매개변수 부분 집합을 업데이트해야 합니다.
- 이 작업은 하이퍼파라미터 최적화 및 생성적 적대 네트워크와 같은 동기 부여 예시에 초점을 맞춥니다.
- 이러한 중첩 문제를 규모 있게 해결할 때 고전적인 방법을 단순히 적용하는 것은 종종 실패함을 강조합니다.
- 논문은 딥러닝 맥락에서 중첩 최적화를 확장 가능하게 만들기 위해 설계된 특정 도구를 구축합니다.