SLORR introduit une régularisation bas de rang simple et sans état pendant l'entraînement

Les chercheurs présentent SLORR, un cadre pour la régularisation bas de rang pendant l'entraînement qui est sans état et préserve l'architecture. Il utilise des approximations conviviales pour les GPU pour régulariser les matrices de poids sans modifier le modèle ou s'appuyer sur des quantités mises en cache.

• SLORR comprend des variantes basées sur la métrique de parcimonie de Hoyer et la norme nucléaire.
• L'évaluation sur ImageNet-1K montre qu'elle induit une compressibilité avec moins de 8 % de surcharge d'entraînement pour les modèles ResNet et ViT.
• Les tests sur le pré-entraînement de LLM aux échelles 135M et 560M montrent que les modèles compressés préservent mieux les performances que ceux non régulés, avec une surcharge moyenne inférieure à 1 %.