STEEL: 희소성 인식 융합 어텐션이 AMD의 XDNA NPU에서 에너지 소비를 9.17배 절감

연구자들은 스페셜티와 같은 신경 처리 엔진(NPU)을 대상으로 하는 FlashAttention의 첫 번째 오픈소스 구현체인 STEEL을 제시하여, 노트북급 SoC에 어텐션 메커니즘을 매핑하는 과제를 해결했습니다.

• STEEL은 공간 병렬성과 온칩 메모리를 활용하기 위해 프리필 어텐션의 데이터플로우 공식을 도입합니다.
• 인과적 마스크로 인한 부하 불균형을 처리하여 동기화 오버헤드를 줄이기 위해 희소성 인식 파이프라인 배치를 사용합니다.
• AMD Ryzen AI 9 HX 370 SoC에서 평가한 결과, STEEL은 CPU 기준선 대비 평균 에너지 소비를 9.17배 절감하고 GPU 기준선 대비 1.75배 절감합니다.
• XDNA 1 하드웨어에서 STEEL은 기존 최첨단 기술 대비 지연 시간을 9.6배 줄입니다.
• XDNA 2에서 레이어별 어텐션 구현체 대비 평균 22.8배의 속도 향상을 제공합니다.

이 연구는 클라우드 오프로딩과 관련된 신뢰성 및 프라이버시 우려를 완화하며, 엣지 디바이스에서의 대규모 언어 모델 기반 에이전트를 위한 에너지 효율적 추론을 가능하게 합니다.