Avaliação sistemática de 25 agendadores de taxa de aprendizado em 30 arquiteturas

Um estudo investiga sistematicamente o impacto das estratégias de agendamento da taxa de aprendizado na precisão de classificação em diversas arquiteturas de redes neurais, indo além de tratar os agendadores como hiperparâmetros secundários. Os pesquisadores avaliaram 30 modelos representativos das famílias convolucionais e transformadoras dentro do conjunto de dados LEMUR neural network.

• A injeção automatizada de código-fonte aplicou 25 configurações de agendamento em nove famílias do PyTorch.

• Um total de 3.938 variantes de modelos foram avaliadas no conjunto de dados CIFAR-10.

• A melhor configuração alcançou uma precisão top-1 de 86,45%, com 237 variantes excedendo 80%.

• CosineAnnealingWarmRestarts e CyclicLR consistentemente superam as estratégias básicas de decaimento.

A paisagem de precisão resultante foi contribuída para o LEMUR nn-dataset, fornecendo uma referência prática para a seleção fundamentada do agendador.