Une exploration de l'application des optimisations FlashAttention-3 et FlashAttention-4 aux GPU RTX grand public révèle que ces améliorations axées sur les datacenters n'offrent aucun gain de performance. L'auteur a reconstruit les kernels d'attention à partir de zéro pour tester si les techniques FA-3/4 pouvaient surpasser le fallback FA-2 existant sur le matériel grand public.
- Les instructions de tensor-core plus rapides (WGMMA) au cœur de FA-3 sont indisponibles sur les GPU RTX.
- Le Tensor Memory Accelerator (TMA) est présent dans sm_120 mais ne contribue pas car le transport n'est pas le goulot d'étranglement.
- La spécialisation des warps entraîne une performance négative, augmentant la latence de 206us à 213us.
- L'optimisation d'exponentiation simulée de FA-4 est irrelevante car le RTX 5090 reste limité par les tensor-cores plutôt que par les SFU.
L'étude conclut que FlashAttention-2 représente le plafond de performance pour l'attention régulière sur les siliciums grand public, car des gains supplémentaires nécessiteraient de sacrifier la précision pour une précision inférieure.
Cette analyse se concentre sur les régimes de prefill et compute-bound ; le décodage contre de grands caches KV reste un défi memory-bound distinct où les techniques split-KV sont plus pertinentes.