एक नई ट्यूटोरियल श्रृंखला भाग 1 के साथ शुरू होती है, जो आधुनिक बीजगणितीय प्रारूप का उपयोग करके FlashAttention के लिए सैद्धांतिक आधार स्थापित करता है। लेख दिखाता है कि FlashAttention एक संयोजक ऑपरेशन है, जिससे इसे GPU पर एक नियमित रिडक्शन के रूप में माना जा सकता है।
- सुरक्षित softmax, वेलफोर्ड का प्रसरण (variance), और FlashAttention को एक ही गुप्त रूप से संयोजक ऑपरेशन के रूप में पहचाना गया है।
- एक विकृत मोनोइड (twisted monoid) की अवधारणा समझाती है कि max-rescale कपलिंग संयोजकता को क्यों नहीं तोड़ती।
- FA-2 में व्युत्पन्न qk_scale सूत्र को log2(e)/√D से आया हुआ दिखाया गया है।
- संख्यात्मक विश्लेषण ओवरफ्लो सीमाओं और त्रुटि सीमाओं को कवर करता है, यह सिद्ध करते हुए कि टाइलिंग कभी भी त्रुटि को बढ़ावा नहीं देती।
- बर्ड का तीसरा समरूपता प्रमेय (Homomorphism Theorem) लूपों में गुप्त संयोजकता के लिए एक परीक्षण के रूप में प्रस्तुत किया गया है।
इस बीजगणितीय ढांचे को मूल व्याख्या से अधिक शक्तिशाली बताया गया है और यह हाल ही के MLSys और CVPR पेपर्स में पहले से ही उपयोग किया जा रहा है।