本研究は、学習率スケジューリング戦略が分類精度に与える影響を多様なニューラルネットワークアーキテクチャにおいて体系的に調査し、スケジューラーを二次的なハイパーパラメータとして扱うことのみを超えている。研究者たちは、LEMURニューラルネットワークデータセット内の畳み込みおよびトランスフォーマーファミリーから30の代表的なモデルを評価した。

  • 自動化されたソースコード注入により、9つのPyTorchファミリー全体に25のスケジューラー構成が適用された。
  • CIFAR-10データセット上で合計3,938のモデルバリアントが評価された。
  • 最良の構成はトップ1精度86.45%を達成し、237のバリアントが80%を超えた。
  • CosineAnnealingWarmRestartsとCyclicLRは基本的な減衰戦略を一貫して上回る。

得られた精度のランドスケープはLEMUR nn-datasetに寄贈され、原理的なスケジューラー選択のための実用的な参照資料を提供している。