يكشف استطلاع لتطبيق تحسينات FlashAttention-3 وFlashAttention-4 على معالجات RTX الخاصة بالمستهلكين أن التحسينات الموجهة لمراكز البيانات لا توفر أي مكاسب في الأداء. أعاد المؤلف بناء نوى الانتباه من الصفر لاختبار ما إذا كانت تقنيات FA-3/4 يمكن أن تتفوق على fallback FA-2 الموجود على الأجهزة الاستهلاكية.
- تعليمات tensor-core الأسرع (WGMMA) الأساسية لـ FA-3 غير متوفرة على معالجات RTX.
- Tensor Memory Accelerator (TMA) موجود في sm_120 ولكنه لا يساعد لأن النقل ليس عنق الزجاجة.
- تؤدي تخصصية الويف إلى أداء سلبي، مما يزيد زمن الوصول من 206us إلى 213us.
- تحسين الأس المُحاكى لـ FA-4 غير ذي صلة حيث يظل RTX 5090 مقيدًا بـ tensor-core بدلاً من SFU.
تخلص الدراسة إلى أن FlashAttention-2 يمثل السقف الأداء للانتباه العادي على الشرائح الاستهلاكية، حيث ستستلزم المكاسب الإضافية التضحية بالدقة من أجل دقة أقل.
يركز هذا التحليل على أوضاع prefill وcompute-bound؛ يظل فك التشفير ضد مخازن KV الكبيرة تحديًا منفصلًا مقيدًا بالذاكرة حيث تكون تقنيات split-KV أكثر صلة.