Una nueva serie de tutoriales comienza con la Parte 1, que establece los fundamentos teóricos para FlashAttention utilizando formalismo algebraico moderno. El artículo demuestra que FlashAttention es una operación asociativa, lo que permite tratarla como una reducción regular en la GPU.

  • Se identifica que softmax seguro, la varianza de Welford y FlashAttention son la misma operación secretamente asociativa.
  • El concepto de monoide retorcido explica por qué el acoplamiento max-rescale no rompe la asociatividad.
  • Se muestra que la fórmula qk_scale derivada en FA-2 proviene de log2(e)/√D.
  • El análisis numérico cubre límites de desbordamiento y límites de error, demostrando que el tileado nunca amplifica el error.
  • El Tercer Teorema de Homomorfismo de Bird se presenta como una prueba de asociatividad secreta en bucles.

Este encuadre algebraico se describe como más poderoso que la explicación original y ya se utiliza en artículos recientes de MLSys y CVPR.