新的教程系列从第1部分开始，使用现代代数形式化建立了 FlashAttention 的理论基础。文章证明 FlashAttention 是一种结合运算，可以将其视为 GPU 上的常规归约。

  • 安全的 softmax、Welford 方差和 FlashAttention 被识别为同一种隐秘结合运算。
  • 扭曲幺半群的概念解释了为什么 max-rescale 耦合不会破坏结合性。
  • FA-2 中推导出的 qk_scale 公式被证明源自 log2(e)/√D。
  • 数值分析涵盖溢出边界和误差限制，证明分块永远不会放大误差。
  • Bird 的第三同态定理被提出作为循环中隐秘结合性的测试。

这种代数框架被描述为比原始解释更强大，并且已经用于最近的 MLSys 和 CVPR 论文中。