SLORR introduit une régularisation à faible rang pendant l'entraînement avec un overhead minimal

Les chercheurs présentent SLORR, un framework sans état et préservant l'architecture pour la régularisation à faible rang pendant l'entraînement, qui évite le besoin de SVD ou de paramètres entraînables supplémentaires. La méthode utilise des approximations conviviales aux GPU pour régulariser les matrices de poids originales, instanciées via la métrique de sparsité Hoyer et des variantes de la norme nucléaire.

• Évalué sur ImageNet-1K avec ResNet-50, ViT-B/16, ViT-L/16 et ResNet-18, SLORR induit une compressibilité avec moins de 8 % d'overhead d'entraînement.
• Lors du pré-entraînement de LLM aux échelles de 135M et 560M, SLORR-Hoyer permet aux modèles compressés de préserver les performances bien mieux que ceux non régulés tout en ajoutant moins de 1 % d'overhead d'entraînement en moyenne.

Cette approche permet une compression efficace des modèles pendant l'entraînement sans impacter significativement l'efficacité computationnelle ni altérer l'architecture sous-jacente.