一篇新论文探讨了使用基础大型语言模型（LLM）来自动化超参数优化（HPO），这一过程通常在有限预算设置下依赖手动方法。作者开发了一种方法论，其中LLM根据数据集和模型的描述建议超参数配置，然后根据模型性能进行迭代优化。
- 在标准基准上的实证评估表明，在受限的搜索预算内，LLM可以匹配或超越传统的HPO方法（如贝叶斯优化），适用于不同的模型。
- 该方法将指定模型的代码视为超参数，允许LLM直接输出它，从而比现有的HPO方法具有更大的灵活性。
这项工作表明，当计算资源有限时，LLM可以作为传统优化技术的有效替代方案。