研究人员提出了STEEL，这是首个面向类XDNA神经处理引擎（NPU）的FlashAttention开源实现，旨在解决将注意力机制映射到笔记本级SoC的挑战。

  • STEEL引入了预填充注意力的数据流公式化，以利用空间并行性和片上内存。
  • 它使用感知稀疏性的流水线放置来处理因果掩码带来的负载不均衡，从而减少同步开销。
  • 在AMD Ryzen AI 9 HX 370 SoC上进行评估，与CPU基线相比，STEEL平均降低能耗9.17倍，与GPU基线相比降低1.75倍。
  • 在XDNA 1硬件上，STEEL的延迟比之前的最先进水平降低了9.6倍。
  • 与XDNA 2上的逐层注意力实现相比，它平均实现了22.8倍的加速。

这项工作使得边缘设备上的基于大型语言模型的代理能够实现节能推理，缓解了与云卸载相关的可靠性和隐私问题。