FlashMorphは、Transformerモデルをフルアテンションの精度と線形アテンションの効率のバランスを取るハイブリッドアーキテクチャに変換する革新的な手法です。これは、層選択を予算制約付きの部分集合問題として最適化します。このアプローチは、並列アテンションブランチを持つ変形可能なモデルを構築し、合成データ上で層ごとのゲートを共同最適化して最適な構成を決定します。

  • FlashMorphは、ヒューリスティック戦略に依存するのではなく、ハイブリッド層選択を予算制約付きの部分集合最適化問題として定式化します。
  • 各フルアテンション層に変換された線形アテンションブランチを備え、モデルの重みを凍結したまま層ごとのゲートを最適化します。
  • 線形化正則化は、ゲート最適化プロセス中に効率のために線形アテンションへの依存を促します。
  • 学習されたゲートは、事前設定されたフルアテンション予算の下で離散化され、最終的なハイブリッドアーキテクチャがインスタンス化されます。
  • この手法は、インスタンス化後に標準的なロジット蒸留とロングコンテキストファインチューニングを採用しています。

FlashMorphは、既存の手法と比較して層選択コストを大幅に削減しながら、強力なロングコンテキスト recall と一般的なベンチマーク性能を維持するより効果的なハイブリッド構成を発見します。