研究者らは、ステートレスでアーキテクチャを保持する学習中の低ランク正則化のためのフレームワークであるSLORRを紹介した。これは、モデルを変更したりキャッシュされた量に依存したりすることなく、GPUに優しい近似を用いて重み行列を正則化する。

  • SLORRには、Hoyerスパース性指標と核ノルムに基づくバリエーションが含まれる。
  • ImageNet-1Kでの評価は、ResNetおよびViTモデルにおいてトレーニングオーバーヘッドが8%未満で圧縮性を誘発することを示している。
  • 135Mおよび560MスケールのLLM事前トレーニングでのテストは、圧縮されたモデルが平均オーバーヘッドが1%未満で非正則化モデルよりもパフォーマンスをよりよく維持することを示した。