研究者らは、SVDや追加の学習可能パラメータの必要性を回避する、トレーニング中の低ランク正則化のためのステートレスかつアーキテクチャを保持するフレームワークであるSLORRを導入した。この手法は、Hoyerスパシティ指標と核ノルム変種を通じてインスタンス化され、GPUに優しい近似を用いて元の重み行列を正則化する。

  • ImageNet-1K上でResNet-50、ViT-B/16、ViT-L/16、およびResNet-18で評価されたSLORRは、トレーニングオーバーヘッドが8%未満で圧縮性を誘発する。
  • 135Mおよび560M規模のLLM事前トレーニングにおいて、SLORR-Hoyerは圧縮モデルが正則化されていないモデルよりも大幅に優れたパフォーマンスを維持しながら、平均トレーニングオーバーヘッドを1%未満に抑えることを可能にする。

このアプローチは、計算効率に大きな影響を与えず、基盤となるアーキテクチャを変更することなく、トレーニング中に効果的なモデル圧縮を可能にする。