새로운 튜토리얼 시리즈가 Part 1로 시작되며, 현대 대수 형식을 사용하여 FlashAttention의 이론적 기반을 확립합니다. 이 기사는 FlashAttention이 결합 연산임을 보여주며, GPU에서 일반적인 리듀션으로 처리할 수 있음을 입증합니다.
- 안전한 softmax, Welford의 분산 및 FlashAttention은 동일한 비결정적 결합 연산으로 식별됩니다.
- 꼬인 모노이드(twisted monoid) 개념은 최대 재스케일링 결합이 결합성을 깨뜨리지 않는 이유를 설명합니다.
- FA-2에서 유도된 qk_scale 공식이 log2(e)/√D에서 비롯됨이 보입니다.
- 수치 분석은 오버플로우 한계와 오류 제한을 다루며, 타일링이 오류를 증폭시키지 않음을 증명합니다.
- Bird의 제3 동형사상 정리가 루프 내 비결정적 결합성을 테스트하는 기준으로 제시됩니다.
이 대수적 프레임워크는 원래 설명보다 더 강력하며 최근 MLSys 및 CVPR 논문에서 이미 활용되고 있습니다.