SLORR 引入简单的训练内低秩正则化，开销极小

研究人员推出了 SLORR，这是一个无状态且保持架构的框架，用于训练过程中的低秩正则化，避免了 SVD 或额外可训练参数的需求。该方法使用 GPU 友好的近似值来正则化原始权重矩阵，通过 Hoyer 稀疏度指标和核范数变体实现。

• 在 ImageNet-1K 上使用 ResNet-50、ViT-B/16、ViT-L/16 和 ResNet-18 进行评估，SLORR 以不到 8% 的训练开销实现了可压缩性。
• 在 135M 和 560M 规模的 LLM 预训练中，SLORR-Hoyer 使压缩模型的性能保持得比未正则化模型好得多，同时增加的训练平均开销不到 1%。

这种方法能够在训练期间实现有效的模型压缩，而不会对计算效率产生重大影响或改变底层架构。