उपभोक्ता RTX GPUs पर FlashAttention-3 और FlashAttention-4 अनुकूलनों को लागू करने की एक खोज यह दर्शाती है कि डेटासेंटर-फोकस्ड सुधारों से कोई प्रदर्शन लाभ नहीं मिलता है। लेखकर्ता ने मौजूदा FA-2 फॉलबैक पर उपभोक्ता हार्डवेयर पर FA-3/4 तकनीकों को बेहतर साबित करने के लिए ध्यान कर्नेल को शून्य से फिर से बनाया।
- FA-3 के लिए केंद्र में तेज़ टेंसर-कोर निर्देश (WGMMA) RTX GPUs पर अनुपलब्ध हैं।
- Tensor Memory Accelerator (TMA) sm_120 में मौजूद है लेकिन मदद नहीं करता क्योंकि परिवहन बाटलनेक नहीं है।
- वार्प स्पेशलाइजेशन नेगेटिव प्रदर्जन का कारण बनता है, जिससे लेटेंसी 206us से बढ़कर 213us हो जाती है।
- FA-4 की सिमुलेटेड एक्सपोनेंशिएशन अनुकूलन अनावश्यक है क्योंकि RTX 5090 अभी भी टेंसर-कोर बाउंडेड है, SFU बाउंडेड नहीं।
अध्ययन से निष्कर्ष निकलता है कि FlashAttention-2 उपभोक्ता सिलिकॉन पर नियमित ध्यान के लिए प्रदर्शन छत का प्रतिनिधित्व करता है, क्योंकि आगे की वृद्धि के लिए कम परिशुद्धता के लिए सटीकता को त्यागना होगा।
यह विश्लेषण प्रीफिल और कंप्यूट-बाउंडेड रेजीम पर केंद्रित है; बड़े KV कैश के खिलाफ डिकोडिंग एक अलग मेमोरी-बाउंडेड चुनौती बनी हुई है जहाँ split-KV तकनीकें अधिक प्रासंगिक हैं।