Une nouvelle série de tutoriels commence avec la Partie 1, qui établit les fondements théoriques de FlashAttention en utilisant le formalisme algébrique moderne. L'article démontre que FlashAttention est une opération associative, permettant de la traiter comme une réduction régulière sur le GPU.

  • Le softmax sûr, la variance de Welford et FlashAttention sont identifiés comme la même opération secrètement associative.
  • Le concept de monoïde tordu explique pourquoi le couplage max-rescale ne brise pas l'associativité.
  • La formule qk_scale dérivée dans FA-2 est montrée provenir de log2(e)/√D.
  • L'analyse numérique couvre les bornes de débordement et les limites d'erreur, prouvant que le tuilage n'amplifie jamais l'erreur.
  • Le 3e Théorème d'Homomorphisme de Bird est présenté comme un test pour l'associativité secrète dans les boucles.

Ce cadre algébrique est décrit comme plus puissant que l'explication originale et est déjà utilisé dans des articles récents de MLSys et CVPR.