研究人员推出了 SLORR，这是一种用于训练期间低秩正则化的框架，具有无状态和保持架构的特性。它使用对 GPU 友好的近似方法来正则化权重矩阵，而无需修改模型或依赖缓存量。

  • SLORR 包括基于 Hoyer 稀疏度指标和核范数的变体。
  • 在 ImageNet-1K 上的评估显示，它对 ResNet 和 ViT 模型引入了可压缩性，且训练开销低于 8%。
  • 在 135M 和 560M 规模的大语言模型预训练测试中，压缩模型的性能保持得比未正则化的模型更好，平均开销低于 1%。