新しい論文では、基礎的な大規模言語モデル（LLM）を使用してハイパーパラメータ最適化（HPO）を自動化することが探られています。このプロセスは通常、限られた予算の状況で手動のアプローチに依存します。著者たちは、LLMがデータセットとモデルの説明に基づいてハイパーパラメータ構成を提案し、それらがモデルのパフォーマンスに応じて反復的に改善される方法論を開発しました。

  • 標準ベンチマークでの実証評価により、制約された検索予算内では、LLMが異なるモデルにおいてベイズ最適化などの従来のHPO手法と同等かそれを超えることができることが示されています。
  • このアプローチは、モデルを指定するコードをハイパーパラメータとして扱い、既存のHPOアプローチよりも柔軟性を持たせるためにLLMがそれを直接出力することを可能にします。

この研究は、計算リソースが限られている場合、LLMが従来の最適化技術の有効な代替手段となり得ることを示唆しています。