Evaluasi sistematis 25 penjadwal learning rate di seluruh 30 arsitektur

Sebuah studi secara sistematis menyelidiki dampak strategi penjadwalan learning rate terhadap akurasi klasifikasi di berbagai arsitektur jaringan saraf, melampaui perlakuan scheduler sebagai hiperparameter sekunder. Para peneliti mengevaluasi 30 model representatif dari keluarga konvolusi dan transformer dalam dataset LEMUR neural network.

• Injeksi kode sumber otomatis diterapkan ke 25 konfigurasi scheduler di seluruh sembilan keluarga PyTorch.
• Total 3.938 varian model dievaluasi pada dataset CIFAR-10.
• Konfigurasi terbaik mencapai akurasi top-1 sebesar 86,45%, dengan 237 varian melebihi 80%.
• CosineAnnealingWarmRestarts dan CyclicLR secara konsisten mengungguli strategi peluruhan dasar.

Lanskap akurasi yang dihasilkan telah disumbangkan ke LEMUR nn-dataset, menyediakan referensi praktis untuk pemilihan scheduler yang berprinsip.