Исследование систематически изучает влияние стратегий планирования скорости обучения на точность классификации в различных архитектурах нейронных сетей, выходя за рамки рассмотрения планировщиков как второстепенных гиперпараметров. Исследователи оценили 30 репрезентативных моделей из семейств сверточных и трансформеров в наборе данных LEMUR neural network.

  • Автоматизированное внедрение исходного кода применило 25 конфигураций планировщиков в рамках девяти семейств PyTorch.
  • Всего было оценено 3 938 вариантов моделей на наборе данных CIFAR-10.
  • Лучшая конфигурация достигла точности top-1 на уровне 86,45%, при этом 237 вариантов превысили отметку в 80%.
  • CosineAnnealingWarmRestarts и CyclicLR последовательно превосходят базовые стратегии затухания.

Полученный ландшафт точности был добавлен в набор данных LEMUR nn-dataset, предоставляя практическую ссылку для обоснованного выбора планировщика.