Исследователи представляют STEEL, первую реализацию с открытым исходным кодом FlashAttention, ориентированную на нейронные процессоры (NPU) типа XDNA, для решения проблемы отображения механизмов внимания на SoC уровня ноутбуков.

  • STEEL вводит формулировку потока данных для префилл-внимания, чтобы использовать пространственный параллелизм и встроенную память.
  • Он использует размещение конвейера с учетом разреженности для обработки дисбаланса нагрузки от каузальных масок, снижая накладные расходы на синхронизацию.
  • Оценка проводилась на SoC AMD Ryzen AI 9 HX 370; STEEL снижает энергопотребление в среднем в 9,17 раза по сравнению с базовыми вариантами на CPU и в 1,75 раза относительно базовых вариантов на GPU.
  • На оборудовании XDNA 1 STEEL достигает сокращения задержки в 9,6 раза по сравнению с предыдущим состоянием искусства.
  • Он обеспечивает ускорение в среднем в 22,8 раза по сравнению с реализациями внимания слой за слоем на XDNA 2.

Эта работа позволяет энергоэффективный вывод для агентов на основе больших языковых моделей на периферийных устройствах, смягчая проблемы надежности и конфиденциальности, связанные с облачным выгрузкой.