Évaluation systématique de 25 planificateurs de taux d'apprentissage sur 30 architectures

Une étude examine systématiquement l'impact des stratégies de planification du taux d'apprentissage sur la précision de classification au sein d'architectures de réseaux neuronaux diverses, allant au-delà du traitement des planificateurs comme hyperparamètres secondaires. Les chercheurs ont évalué 30 modèles représentatifs des familles convolutionnelles et transformateurs au sein du jeu de données LEMUR neural network.

• Une injection automatique de code source a appliqué 25 configurations de planificateur sur neuf familles PyTorch.
• Un total de 3 938 variantes de modèles ont été évaluées sur le jeu de données CIFAR-10.
• La meilleure configuration a atteint une précision top-1 de 86,45 %, avec 237 variantes dépassant 80 %.
• CosineAnnealingWarmRestarts et CyclicLR surpassent systématiquement les stratégies de décroissance basiques.

Le paysage de précision résultant a été contribué au jeu de données LEMUR nn-dataset, fournissant une référence pratique pour la sélection principée des planificateurs.