Pesquisadores apresentam o STEEL, a primeira implementação de código aberto do FlashAttention direcionada a motores de processamento neural tipo XDNA (NPUs), para abordar o desafio de mapear mecanismos de atenção em SoCs de classe laptop.

  • O STEEL introduz uma formulação de fluxo de dados da atenção de pré-carregamento para explorar paralelismo espacial e memória no chip.
  • Ele usa posicionamento de pipeline consciente de esparsidade para lidar com desequilíbrio de carga de máscaras causais, reduzindo a sobrecarga de sincronização.
  • Avaliado no SoC AMD Ryzen AI 9 HX 370, o STEEL reduz o consumo de energia em média 9,17x em comparação com linhas de base de CPU e 1,75x em relação às linhas de base de GPU.
  • No hardware XDNA 1, o STEEL alcança uma redução de latência de 9,6x sobre o estado da arte anterior.
  • Ele oferece um aumento de velocidade médio de 22,8x em comparação com implementações de atenção camada por camada no XDNA 2.

Este trabalho permite inferência energeticamente eficiente para agentes baseados em modelos de linguagem grandes em dispositivos de borda, mitigando preocupações de confiabilidade e privacidade associadas ao descarregamento para a nuvem.