研究者は、事前学習済みGPT-2スタイルのモデルに現れるスペクトルパターンが、新しい事前学習の実行に対する初期化信号として機能し得るかどうかを調査した。本研究では11個のチェックポイントを検証し、レイヤーおよびTransformerサブコンポーネント全体におけるフロベニウスノルムと有効ランクエントロピーを測定した。

  • チェックポイントは、残差書き込み行列におけるスケールの増加やスペクトル集中の強化など、共通する深さ方向の傾向を示した。
  • 初期化手法は、事前学習済みモデルのコンポーネントごとの大きさとスペクトルプロファイルを模倣するように構築された。
  • 評価結果では、これらの初期化手法が標準的な重み初期化手法と比較して性能上の優位性をもたらさないことが示された。
  • 事前学習済みの重みの再利用は競争力のある状態を保った一方、粗いスペクトルマッチングは最適化戦略として信頼性に欠けることが証明された。

これらの知見は、事前学習済みのスペクトルがモデル構造の有用な診断手段ではあるものの、効果的な再利用にはコンポーネントごとのスケールや特異値の形状だけでなく、より豊富な情報の保持が必要であることを示唆している。