एक अध्ययन विविध न्यूरेल नेटवर्क आर्किटेक्चर में वर्गीकरण सटीकता पर लर्निंग रेट शेड्यूलिंग रणनीतियों के प्रभाव का व्यवस्थित रूप से अन्वेषण करता है, शेड्यूलर्स को द्वितीयक हाइपरपैरामीटर मानने से आगे बढ़ते हुए। शोधकर्ताओं ने LEMUR neural network डेटासेट में कनवोल्यूशनल और ट्रान्सफॉर्मर परिवारों से 30 प्रतिनिधि मॉडल का मूल्यांकन किया।
- स्वचालित स्रोत-कोड इंजेक्शन ने नौ PyTorch परिवारों में 25 शेड्यूलर कॉन्फ़िगरेशन लागू किए।
- CIFAR-10 डेटासेट पर कुल 3,938 मॉडल वेरिएंट का मूल्यांकन किया गया।
- सर्वोत्तम कॉन्फ़िगरेशन ने 86.45% टॉप-1 सटीकता हासिल की, जिसमें 237 वेरिएंट 80% से अधिक थे।
- CosineAnnealingWarmRestarts और CyclicLR मूलभूत क्षय रणनीतियों का निरंतर रूप से प्रदर्शन करते हैं।
परिणामी सटीकता परिदृश्य को LEMUR nn-dataset में योगदान दिया गया है, जो सिद्धांतवादी शेड्यूलर चयन के लिए एक व्यावहारिक संदर्भ प्रदान करता है।