एक नई शोध पत्र मौलिक बड़े भाषा मॉडलों (LLM) का उपयोग हाइपरपैरामीटर ऑप्टिमाइज़ेशन (HPO) को स्वचालित करने के लिए करता है, जो एक प्रक्रिया है जो आमतौर पर सीमित-बजट सेटिंग्स में मानव दृष्टिकोणों पर निर्भर करती है। लेखकों ने एक विधि विकसित की जहाँ LLM डेटासेट और मॉडल के विवरण के आधार पर हाइपरपैरामीटर कॉन्फ़िगरेशन सुझाते हैं, जिन्हें मॉडल के प्रदर्शन के अनुसार पुनः परिष्कृत किया जाता है।
- मानक बेंचमार्क पर प्रायोगिक मूल्यांकन दिखाते हैं कि सीमित खोज बजट के भीतर, LLM विभिन्न मॉडलों में बेयसियन ऑप्टिमाइज़ेशन जैसे पारंपरिक HPO तरीकों के बराबर या बेहतर हो सकते हैं।
- यह दृष्टिकोण मॉडल को निर्दिष्ट करने वाले कोड को एक हाइपरपैरामीटर मानता है, जिससे LLM इसे सीधे आउटपुट कर सकता है, मौजूदा HPO दृष्टिकोणों की तुलना में अधिक लचीलापन प्रदान करता है।
यह कार्य सुझाव देता है कि जब कंप्यूटेशनल संसाधन सीमित होते हैं, तो LLM पारंपरिक ऑप्टिमाइज़ेशन तकनीकों के लिए प्रभावी विकल्प के रूप में काम कर सकते हैं।