Una exploración sobre la aplicación de las optimizaciones FlashAttention-3 y FlashAttention-4 a las GPU RTX para consumidores revela que estas mejoras, enfocadas en centros de datos, no ofrecen ganancias de rendimiento. El autor reconstruyó los núcleos de atención desde cero para probar si las técnicas FA-3/4 podían superar la solución de respaldo FA-2 existente en hardware de consumo.
- Las instrucciones de núcleo tensorial más rápidas (WGMMA) centrales para FA-3 no están disponibles en las GPU RTX.
- El Tensor Memory Accelerator (TMA) está presente en sm_120 pero no ayuda porque el transporte no es el cuello de botella.
- La especialización de warps resulta en un rendimiento negativo, aumentando la latencia de 206us a 213us.
- La optimización de exponenciación simulada de FA-4 es irrelevante ya que la RTX 5090 sigue siendo limitada por el núcleo tensorial en lugar de estar limitada por SFU.
El estudio concluye que FlashAttention-2 representa el techo de rendimiento para la atención regular en silicio de consumo, ya que mayores ganancias requerirían sacrificar precisión por menor precisión.
Este análisis se centra en los regímenes de prellenado y limitados por cómputo; la decodificación contra grandes cachés KV sigue siendo un desafío limitado por la memoria donde las técnicas de KV dividido son más relevantes.