新しいチュートリアルシリーズの第1部が始まり、現代の代数的形式を用いてFlashAttentionの理論的基盤を確立しています。この記事は、FlashAttentionが結合的演算であることを示し、GPU上で通常の減算として扱うことができることを実証しています。

  • 安全なsoftmax、ウェルフォードの分散、およびFlashAttentionは、同じ秘密結合的演算として特定されています。
  • ひねられたモノイドの概念は、最大値再スケーリング結合が結合性を壊さない理由を説明します。
  • FA-2で導出されたqk_scale公式は、log2(e)/√Dに由来することが示されています。
  • 数値解析はオーバーフロー限界とエラー制限をカバーし、タイル化がエラーを増幅しないことを証明しています。
  • バードの第三ホモモルフィズム定理は、ループ内の秘密結合性のテストとして提示されています。

この代数的枠組みは、元の説明よりも強力であると記述されており、最近のMLSysおよびCVPR論文で既に利用されています。