शोधकर्ता STEEL प्रस्तुत करते हैं, जो XDNA-जैसे न्यूरल प्रोसेसिंग इंजन (NPU) को लक्षित करने वाले FlashAttention का पहला ओपन-सोर्स कार्यान्वयन है, ताकि लैपटॉप-श्रेणी के SoC पर एटेंशन तंत्र को मैप करने की चुनौती को संबोधित किया जा सके।
- STEEL स्थानिक समानांतरता और चिप-पर मेमोरी का लाभ उठाने के लिए प्रीफिल एटेंशन का एक डेटाफ्लो सूत्रीकरण पेश करता है।
- यह कारण मास्क्स से लोड असंतुलन को संभालने के लिए विरलता-जागरूक पाइपलाइन स्थान का उपयोग करता है, जिससे सिंकनाइजेशन ओवरहेड कम होता है।
- AMD Ryzen AI 9 HX 370 SoC पर मूल्यांकन किया गया, STEEL CPU आधार रेखाओं की तुलना में ऊर्जा उपभोग को औसतन 9.17x कम करता है और GPU आधार रेखाओं के सापेक्ष 1.75x कम करता है।
- XDNA 1 हार्डवेयर पर, STEEL पूर्व राज्य कला की तुलना में 9.6x विलंबता कमी प्राप्त करता है।
- यह XDNA 2 पर परत-दर-परत एटेंशन कार्यान्वयनों की तुलना में औसतन 22.8x गति वृद्धि प्रदान करता है।
यह कार्य किनारे के उपकरणों पर बड़े भाषा मॉडल-आधारित एजेंट्स के लिए ऊर्जा-कुशल अनुमान को सक्षम बनाता है, जिससे क्लाउड ऑफलोडिंग से जुड़ी विश्वसनीयता और गोपनीयता चिंताओं को कम किया जाता है।