Seri tutorial baru dimulai dengan Bagian 1, yang menetapkan dasar teoretis untuk FlashAttention menggunakan formalisme aljabar modern. Artikel ini menunjukkan bahwa FlashAttention adalah operasi asosiatif, memungkinkannya diperlakukan sebagai reduksi reguler pada GPU.

  • Softmax aman, varians Welford, dan FlashAttention diidentifikasi sebagai operasi yang sama yang secara tersembunyi asosiatif.
  • Konsep monoid terpilin menjelaskan mengapa kopling max-rescale tidak merusak asosiativitas.
  • Rumus qk_scale yang diturunkan dalam FA-2 terbukti berasal dari log2(e)/√D.
  • Analisis numerik mencakup batas overflow dan batas error, membuktikan bahwa tiling tidak pernah memperkuat error.
  • Teorema Homomorfisme ke-3 Bird disajikan sebagai tes untuk asosiativitas tersembunyi dalam loop.

Kerangka kerja aljabar ini digambarkan lebih kuat daripada penjelasan asli dan sudah digunakan dalam makalah MLSys dan CVPR terbaru.