새로운 논문은 제한된 예산 설정에서 일반적으로 수동 접근 방식에 의존하는 프로세스인 하이퍼파라미터 최적화(HPO)를 자동화하기 위해 기초 대규모 언어 모델(LLM)을 사용하는 것을 탐구합니다. 저자들은 데이터셋 및 모델 설명에 기반하여 LLM이 하이퍼파라미터 구성을 제안하고, 이를 모델 성능에 따라 반복적으로 정제하는 방법론을 개발했습니다.

  • 표준 벤치마크에서의 실험적 평가는 제한된 검색 예산 내에서 LLM이 다양한 모델에 대해 베이지안 최적화와 같은 전통적인 HPO 방법과 동등하거나 이를 능가할 수 있음을 보여줍니다.
  • 이 접근 방식은 모델을 지정하는 코드를 하이퍼파라미터로 취급하여 기존 HPO 접근 방식보다 더 큰 유연성을 위해 LLM이 이를 직접 출력할 수 있게 합니다.

이 작업은 계산 자원이 제한될 때 LLM이 전통적인 최적화 기술에 대한 효과적인 대안이 될 수 있음을 시사합니다.