最近の研究により、スーパーウェイトが個々のパラメータであり、その削除によってモデルのパフォーマンスが桁違いに低下することが特定されました。しかし、この研究では、これらの特定のパラメータをトレーニングしても効果的でないことが示されています。OLMo-1BおよびOLMo-7Bにおいてスーパーウェイトを孤立してトレーニングすると、最大36K個のパラメータの近傍領域に拡張した場合でも、精度がランダム推測レベルまで低下します。

  • 孤立したスーパーウェイトのトレーニングはパフォーマンスの崩壊を引き起こす一方、同じ数のランダムに選択された位置のトレーニングはベースラインを上回る結果をもたらします。
  • バニラLoRAは、低ランク構造を通じて注意重み行列内のすべての位置を更新することで、わずか0.16%のパラメータで成功しています。
  • 同じ低ランク更新をdown_proj層に適用することも成功しますが、スーパーウェイトの座標におけるLoRAの更新を制約すると、ランダム推測と統計的に区別できない結果が得られます。

これらの知見は、パラメータの重要性が孤立した学習可能性を意味するものではなく、効果的なファインチューニングは個々の重要な重みを対象とするのではなく、層全体にわたる構造的分解に依存することを示しています。