研究者が、密集したグローバル自己注意をブロック単位演算に置き換える、長文脈言語モデリング用の新しいアーキテクチャであるBCMTを紹介しました。このモデルは、局所的な因果的注意と適応的な文脈要約、および因果的メモリー伝播を組み合わせて、長距離依存関係を効率的に捉えます。

  • 固定されたブロックサイズに対して、計算複雑度がO(T²)からO(TL)に削減されます。
  • 実装には、完全なアーキテクチャ、H-only ablation、および標準的なTransformerのベースラインが含まれます。
  • WikiText-103での実験では、高いスループットと低いGPUメモリ使用量で、密集したトランスフォーマーに近い検証パープレキシティが示されました。

本プロジェクトはオープンソースであり、コミュニティによるレビューのためにPyTorchコードとトレーニングスクリプトを提供しています。