STEEL: perhatian terpadu yang sadar sparsitas mengurangi energi sebesar 9,17x pada NPU XDNA milik AMD

Para peneliti menyajikan STEEL, implementasi sumber terbuka pertama dari FlashAttention yang menargetkan mesin pemrosesan saraf (NPU) mirip XDNA, untuk mengatasi tantangan pemetaan mekanisme perhatian ke SoC kelas laptop.

• STEEL memperkenalkan formulasi alur data untuk prefill attention guna memanfaatkan paralelisme spasial dan memori on-chip.
• Ini menggunakan penempatan pipa yang sadar sparsitas untuk menangani ketidakseimbangan beban dari mask kausal, mengurangi overhead sinkronisasi.
• Dievaluasi pada SoC AMD Ryzen AI 9 HX 370, STEEL mengurangi konsumsi energi rata-rata sebesar 9,17x dibandingkan dengan baseline CPU dan 1,75x relatif terhadap baseline GPU.
• Pada perangkat keras XDNA 1, STEEL mencapai pengurangan latensi sebesar 9,6x dibandingkan dengan state of the art sebelumnya.
• Ini memberikan percepatan kecepatan rata-rata sebesar 22,8x dibandingkan dengan implementasi attention berlapis demi berlapis pada XDNA 2.

Karya ini memungkinkan inferensi yang hemat energi untuk agen berbasis model bahasa besar pada perangkat tepi, mengurangi kekhawatiran keandalan dan privasi yang terkait dengan offloading cloud.