يقدم الباحثون STEEL، أول تنفيذ مفتوح المصدر لـ FlashAttention يستهدف محركات المعالجة العصبية الشبيهة بـ XDNA (NPUs)، لمعالجة تحدي تعيين آليات الانتباه على أنظمة على رقاقة (SoCs) المخصصة لأجهزة الكمبيوتر المحمولة.
- يقدم STEEL صياغة لتدفق البيانات الخاص بالانتباه في مرحلة الحشو لاستغلال التوازي المكاني والذاكرة داخل الشريحة.
- يستخدم وضعًا للخط الأنفي الواعي بالتباعد لمعالجة عدم توازن الحمل الناتج عن الأقنعة السببية، مما يقلل من عبء المزامنة.
- تم تقييمه على نظام AMD Ryzen AI 9 HX 370 SoC، حيث يقلل STEEL من استهلاك الطاقة بنسبة متوسطة تبلغ 9.17x مقارنة بالمرجع المعتمد على وحدة المعالجة المركزية (CPU)، و1.75x بالنسبة للمرجع المعتمد على وحدة معالجة الرسومات (GPU).
- على الأجهزة من الجيل XDNA 1، يحقق STEEL انخفاضًا في زمن الوصول بمقدار 9.6x مقارنة بأحدث التقنيات السابقة.
- يوفر تسريعًا بنسبة 22.8x في المتوسط مقارنة بتنفيذيات الانتباه طبقة بطبقة على XDNA 2.
تمكّن هذه الدراسة من استنتاج كفء للطاقة للوكلاء المعتمدين على نماذج لغوية كبيرة على الأجهزة الطرفية، مما يخفف من مخاوف الموثوقية والخصوصية المرتبطة بنقل المهام إلى السحابة.