对30种架构中的25个学习率调度器的系统评估

一项研究系统地调查了学习率调度策略对各类神经网络架构分类准确率的影响，超越了将调度器视为次要超参数的做法。研究人员在 LEMUR neural network 数据集中评估了来自卷积和 Transformer 家族的30种代表性模型。

• 自动源代码注入在九个 PyTorch 家族中应用了25个调度器配置。

• 在 CIFAR-10 数据集上总共评估了3,938个模型变体。

• 最佳配置实现了86.45%的top-1准确率，其中237个变体超过了80%。

• CosineAnnealingWarmRestarts 和 CyclicLR 始终优于基本衰减策略。

由此产生的准确率景观已贡献给 LEMUR nn-dataset，为有原则的调度器选择提供了实用参考。