FlashAttention-3 및 FlashAttention-4 최적화를 소비자용 RTX GPU에 적용하는 탐색 결과, 데이터센터 중심의 개선이 성능 향상을 가져오지 않는다는 것이 밝혀졌습니다. 저자는 기존 FA-2 폴백보다 우수할 수 있는지 테스트하기 위해 어텐션 커널을 처음부터 재구축했습니다.
- FA-3의 핵심인 고속 텐서 코어 명령(WGMMA)은 RTX GPU에서 사용할 수 없습니다.
- Tensor Memory Accelerator (TMA)는 sm_120에 존재하지만, 전송이 병목이 아니기 때문에 도움이 되지 않습니다.
- 와프 전문화는 부정적인 성능 결과를 초래하여 지연 시간을 206us에서 213us로 증가시켰습니다.
- FA-4의 시뮬레이션 지수화 최적화는 RTX 5090이 SFU 바운드보다 텐서 코어 바운드이기 때문에 관련성이 없습니다.
이 연구는 소비자용 실리콘에서 일반 어텐션에 대한 성능 한계가 FlashAttention-2임을 결론짓고 있으며, 추가적인 향상은 낮은 정밀도를 위해 정확성을 희생해야 함을 의미합니다.
이 분석은 prefill 및 compute-bound 레짐에 중점을 둡니다. 대규모 KV 캐시와의 디코딩은 별도의 memory-bound 과제이며, 여기서 split-KV 기법이 더 관련성이 높습니다.