研究者らは、階層型ランドマークスパース（HiLS）Attentionを提案した。これはチャンクごとのスパースなメカニズムであり、言語モデリング損失の下でチャンク選択をエンドツーエンドで学習し、密なアテンションの二次コストと poor な長さ拡張の問題に対処する。

  • HiLSはアテンションを階層的に因数分解し、各クエリが取得スコアに基づいて出力を融合する前に、チャンク固有の情報を独立して抽出できるようにする。
  • この手法はLM損失で取得スコアを直接最適化し、不正確なチャンク選択なしでネイティブなスパーストレーニングを可能にする。
  • HiLS-Attentionは90%の取得精度で、トレーニングコンテキスト長の64倍以上を拡張し、ロングコンテキストシナリオにおいてフルアテンションを上回る。
  • 既存のフルアテンションモデルは、軽量な継続的プリトレーニングを通じてHiLS-Attentionに変換可能であり、インドメインのパフォーマンスを維持しつつ超長文脈の能力を獲得する。

HiLS-Attentionは、スパースKVアクセスと優れた拡張性を組み合わせることで、従来の効率性とパフォーマンスのトレードオフを打破し、フルアテンションのモデルよりも効率的かつ効果的なロングコンテキストLLMを実現する。