Los investigadores presentan STEEL, la primera implementación de código abierto de FlashAttention dirigida a motores de procesamiento neural tipo XDNA (NPU), para abordar el desafío de mapear mecanismos de atención en SoCs de clase portátil.

  • STEEL introduce una formulación de flujo de datos de prefill attention para explotar el paralelismo espacial y la memoria en chip.
  • Utiliza la colocación de tubería consciente de la dispersión para manejar el desequilibrio de carga de las máscaras causales, reduciendo la sobrecarga de sincronización.
  • Evaluado en el SoC AMD Ryzen AI 9 HX 370, STEEL reduce el consumo de energía en un promedio de 9.17x en comparación con las líneas base de CPU y 1.75x en relación con las líneas base de GPU.
  • En hardware XDNA 1, STEEL logra una reducción de latencia de 9.6x sobre el estado del arte anterior.
  • Ofrece una aceleración promedio de 22.8x en comparación con las implementaciones de atención capa por capa en XDNA 2.

Este trabajo permite la inferencia eficiente energéticamente para agentes basados en modelos de lenguaje grandes en dispositivos perimetrales, mitigando las preocupaciones de confiabilidad y privacidad asociadas con la descarga a la nube.