Sebuah makalah baru mengeksplorasi penggunaan model bahasa besar fundamental (LLM) untuk mengotomatisasi optimisasi hiperparameter (HPO), sebuah proses yang biasanya mengandalkan pendekatan manual dalam pengaturan anggaran terbatas. Para penulis mengembangkan metodologi di mana LLM menyarankan konfigurasi hiperparameter berdasarkan deskripsi dataset dan model, yang kemudian disempurnakan secara iteratif sesuai dengan kinerja model.

  • Evaluasi empiris pada benchmark standar menunjukkan bahwa dalam anggaran pencarian yang terbatas, LLM dapat menyamai atau mengungguli metode HPO tradisional seperti optimisasi Bayesian di berbagai model.
  • Pendekatan ini memperlakukan kode yang menentukan model sebagai hiperparameter, memungkinkan LLM untuk menghasilkannya secara langsung untuk fleksibilitas lebih besar daripada pendekatan HPO yang ada.

Karya ini menunjukkan bahwa LLM dapat berfungsi sebagai alternatif yang efektif terhadap teknik optimisasi tradisional ketika sumber daya komputasi terbatas.