著者は、Gemma 4の拡張版であるextGemma4-40_5Bモデルが、新しい初期化戦略を用いることで、レイヤー挿入における以前の失敗を克服したと報告しています。新しいレイヤーをノープスとしてではなく、隣接するレイヤーのブレンドとして初期化することで、モデルは信号飢餓を回避し、効果的なトレーニングを可能にします。

  • 著者は中途半端な箇所でレイヤーの挿入を中止し、信号整合性を保つために層ごとのボリューム設定を中立に維持しました。
  • トレーニングは2ラウンドで行われました：まず元のモデルを凍結して新しいレイヤーのみを学習させ、その後すべてを解凍して共同調整を行いました。
  • ベンチマークでは、手術で失われた大部分の性能が回復し、GPQA-Diamondにおいて元のモデルに近づきました。
  • 10の多様なトピックでの並列比較では、拡張モデルは親モデルと9つの質問で同点となり、ド・ブロイ波長に関する物理の問題ではそれを上回りました。

この実験は、すでにファインチューニングされたモデルに対する大規模な構造的変更が、ガベージ出力に崩壊するのではなく、成功裏に回復できることを示しています。