تبدأ سلسلة تعليمية جديدة بالجزء الأول، الذي يرسخ الأساس النظري لـ FlashAttention باستخدام الصياغة الجبرية الحديثة. يُظهر المقال أن FlashAttention هي عملية جمعية، مما يسمح بمعالجتها كتقليل عادي على وحدة معالجة الرسومات.
- تم تحديد softmax الآمن، وتباين Welford، وFlashAttention كعملية واحدة جمعية سرية.
- يشرح مفهوم الزمرة الملتوية (twisted monoid) سبب عدم كسر اقتران إعادة القياس الأقصى للجمعية.
- يُظهر أن صيغة qk_scale المشتقة في FA-2 تأتي من log2(e)/√D.
- تغطي التحليل العددي حدود تجاوز السعة وحدود الخطأ، مثبتةً أن التجميع لا يضخم الخطأ أبدًا.
- تم تقديم نظرية التجانس الثالثة لـ Bird كاختبار للجمعية السرية في الحلقات.
يُوصف هذا الإطار الجبري بأنه أقوى من الشرح الأصلي، وهو مستخدم بالفعل في أوراق MLSys وCVPR الحديثة.