研究者らは、ラップトップクラスのSoCへのアテンションメカニズムのマッピングという課題に対処するため、XDNA型ニューラルプロセッシングエンジン（NPU）を対象としたFlashAttentionの初のオープンソース実装であるSTEELを発表した。

  • STEELは、空間並列性とオンチップメモリを活用するために、プレフィルアテンションのデータフロー定式化を導入する。
  • 因果マスクによる負荷不均衡に対処するため、疎性対応のパイプライン配置を使用し、同期オーバーヘッドを削減する。
  • AMD Ryzen AI 9 HX 370 SoCで評価した結果、STEELはCPUベースラインと比較してエネルギー消費を平均9.17倍削減し、GPUベースラインと比較して1.75倍削減した。
  • XDNA 1ハードウェアでは、STEELは既存の最先端技術に対して9.6倍のレイテンシ削減を実現する。
  • XDNA 2上でのレイヤーバイレイヤーアテンション実装と比較して、平均で22.8倍の高速化を提供する。

この研究により、エッジデバイスにおける大規模言語モデルベースのエージェントのエネルギー効率的な推論が可能になり、クラウドオフロードに関連する信頼性とプライバシーの懸念を緩和する。