एक एकल शोधकर्ता ने Wave Field LLM पेश किया है, जो एक नया बेस कंप्लीशन मॉडल आर्किटेक्चर है जो मानक O(N²) डॉट-प्रोडक्ट एटेंशन को FFT वेव कन्वोल्यूशन से बदलता है। यह दृष्टिकोण संदर्भ लंबाई की परवाह किए बिना इनफरेंस के दौरान स्थिर गति और मेमोरी उपयोग की अनुमति देता है, जिससे 128K संदर्भ विंडो संभव हो जाती हैं जहाँ मानक एटेंशन आमतौर पर मेमोरी खत्म कर देता है।
- प्रशिक्षण जटिलता को O(N log N) तक कम कर दिया गया है, जबकि इनफरेंस में प्रति टोकन O(1) प्राप्त होता है।
- मॉडल परिवार 130M से 1.5B पैरामीटर के बीच है और इसे RLHF या इंस्ट्रक्शन फाइन-ट्यूनिंग के बिना शून्य से प्रशिक्षित किया गया था।
- एक Mac लैपटॉप CPU पर, मॉडल GPU की आवश्यकता के बिना प्रति सेकंड 80 टोकन से अधिक प्राप्त करता है।
- H100 पर बेंचमार्क्स दिखाते हैं कि यह 32K संदर्भ पर मानक एटेंशन की तुलना में 21.8x तेज है और 5.3x कम मेमोरी का उपयोग करता है।
- DCLM CORE पर जीरो-शॉट मूल्यांकन में, 130M मॉडल ने GPT-2 124M को हरा दिया, जिसने औसत 46.8% स्कोर किया जबकि GPT-2 का स्कोर 26.5% था, और PIQA (61.7% बनाम 50.0%) और ARC Easy (43.8% बनाम 25.0%) पर उल्लेखनीय सुधार हुआ।
लेखक बेंचमार्क विधि पर स्वतंत्र परीक्षण और प्रतिक्रिया, अन्य ~130M बेस मॉडलों के साथ गुणवत्ता तुलना, और हानिकारक आउटपुट जैसे संभावित मुद्दों पर फीडबैक की तलाश में है।