Исследование применения оптимизаций FlashAttention-3 и FlashAttention-4 к потребительским GPU RTX показывает, что эти улучшения, ориентированные на датацентры, не дают прироста производительности. Автор с нуля переписал ядра внимания, чтобы проверить, могут ли техники FA-3/4 превзойти существующее резервное решение FA-2 на потребительском оборудовании.
- Более быстрые инструкции тензорного ядра (WGMMA), лежащие в основе FA-3, недоступны на GPU RTX.
- Tensor Memory Accelerator (TMA) присутствует в sm_120, но не помогает, поскольку транспорт не является узким местом.
- Специализация варпов приводит к снижению производительности, увеличивая задержку с 206 мкс до 213 мкс.
- Оптимизация экспоненцирования через симуляцию в FA-4 нерелевантна, так как RTX 5090 остается ограниченным тензорными ядрами, а не SFU.
Исследование приходит к выводу, что FlashAttention-2 представляет собой потолок производительности для обычного внимания на потребительских чипах, поскольку дальнейший прирост потребовал бы жертвовать точностью ради пониженной точности вычислений.
Этот анализ фокусируется на режимах префилла и вычислительной нагрузки; декодирование против больших KV-кэшей остается отдельной проблемой, ограниченной памятью, где более релевантны техники разделения KV.