LLaMAおよびQwenにおける近似誤差を低減する分析駆動型Transformer線形化

本研究は、因果的自己注意の二次コストに対処するために、厳格なフリーズバックボーン設定下で状態更新設計の影響を分離する。著者らは、ソフトマックスがキー依存のランク1直交射影に依存していることを示し、デルタ型ネットワークが純粋なゲート集積よりも優れている理由を説明する。

• 近似誤差の潜在的な原因を特定し、シンクトークン、短距離畳み込み、固定予算キャッシュルーティングなどの構造的介入を導入する。
• LLaMAおよびQwenモデルにおいて32Bパラメータまで線形化アプローチをスケーリングする。
• MMLUにおいて既存の事後ベースラインを上回り、複雑な適応的キャッシングフレームワークの長文脈検索性能と同等の結果を示す。

本研究は、効率性を維持しつつ線形化Transformerのパフォーマンスギャップを縮小する方法を提供する。