Uma nova série de tutoriais começa com a Parte 1, que estabelece a base teórica para o FlashAttention usando formalismo algébrico moderno. O artigo demonstra que o FlashAttention é uma operação associativa, permitindo que seja tratada como uma redução regular na GPU.

  • Softmax seguro, variância de Welford e FlashAttention são identificados como a mesma operação secretamente associativa.
  • O conceito de monóide torcido explica por que o acoplamento max-rescale não quebra a associatividade.
  • A fórmula qk_scale derivada no FA-2 é mostrada como originária de log2(e)/√D.
  • A análise numérica cobre limites de estouro e limites de erro, provando que o tileamento nunca amplifica o erro.
  • O Terceiro Teorema do Homomorfismo de Bird é apresentado como um teste para associatividade secreta em loops.

Este enquadramento algébrico é descrito como mais poderoso que a explicação original e já é utilizado em artigos recentes do MLSys e CVPR.