Uma exploração sobre a aplicação das otimizações FlashAttention-3 e FlashAttention-4 em GPUs RTX para consumidores revela que essas melhorias focadas em datacenters não oferecem ganhos de desempenho. O autor reconstruiu os kernels de atenção do zero para testar se as técnicas FA-3/4 poderiam superar o fallback FA-2 existente em hardware de consumo.

  • Instruções mais rápidas do tensor-core (WGMMA) centrais para o FA-3 não estão disponíveis nas GPUs RTX.
  • O Tensor Memory Accelerator (TMA) está presente no sm_120, mas não ajuda porque o transporte não é o gargalo.
  • A especialização de warps resulta em desempenho negativo, aumentando a latência de 206us para 213us.
  • A otimização de exponenciação simulada do FA-4 é irrelevante, pois a RTX 5090 permanece limitada pelo tensor-core e não por SFU.

O estudo conclui que o FlashAttention-2 representa o teto de desempenho para atenção regular em silício de consumo, já que ganhos adicionais exigiriam sacrificar precisão por menor precisão.

Esta análise foca nos regimes de prefill e limitados por computação; a decodificação contra grandes caches KV permanece um desafio limitado por memória onde técnicas de split-KV são mais relevantes.