Um novo artigo explora o uso de modelos de linguagem grandes fundamentais (LLMs) para automatizar a otimização de hiperparâmetros (HPO), um processo que normalmente depende de abordagens manuais em configurações com orçamento limitado. Os autores desenvolveram uma metodologia onde os LLMs sugerem configurações de hiperparâmetros com base nas descrições do conjunto de dados e do modelo, que são então refinadas iterativamente de acordo com o desempenho do modelo.
- Avaliações empíricas em benchmarks padrão mostram que, dentro de orçamentos de busca restritos, os LLMs podem igualar ou superar métodos tradicionais de HPO, como a otimização bayesiana, em diferentes modelos.
- A abordagem trata o código que especifica o modelo como um hiperparâmetro, permitindo que o LLM o gere diretamente para maior flexibilidade do que as abordagens de HPO existentes.
Este trabalho sugere que os LLMs podem servir como alternativas eficazes às técnicas de otimização tradicionais quando os recursos computacionais são limitados.