قدم باحث مستقل نموذج Wave Field LLM، وهو بنية نموذج أساسي جديدة للإكمال تستبدل انتباه حاصل الضرب النقطي القياسي O(N²) بتلافيف موجة FFT. يسمح هذا النهج بسرعة ثابتة واستهلاك ذاكرة أثناء الاستدلال بغض النظر عن طول السياق، مما يتيح نوافذ سياق بحجم 128K حيث عادةً ما ينفد الذاكرة في الانتباه القياسي.

  • تم تقليل تعقيد التدريب إلى O(N log N)، بينما يحقق الاستدلال O(1) لكل توكن.
  • تتراوح عائلة النماذج بين 130 مليون و1.5 مليار معلمة، وتم تدريبها من الصفر دون استخدام RLHF أو ضبط دقيق للتعليمات.
  • على معالج CPU لابتوب Mac، يحقق النموذج أكثر من 80 توكن في الثانية دون الحاجة إلى GPU.
  • أظهرت نتائج الاختبارات المعيارية على H100 أنه أسرع بـ 21.8 مرة ويستخدم ذاكرة أقل بنسبة 5.3 مرات من الانتباه القياسي عند سياق بحجم 32K.
  • في التقييمات الصفرية (zero-shot) على DCLM CORE، تفوق نموذج 130M على GPT-2 124M، محققاً متوسط درجة 46.8% مقارنة بـ 26.5%， مع مكاسب كبيرة في PIQA (61.7% مقابل 50.0%) وARC Easy (43.8% مقابل 25.0%).

يسعى المؤلف إلى الحصول على اختبارات مستقلة وملاحظات حول منهجية الاختبارات المعيارية، ومقارنات الجودة مع النماذج الأساسية الأخرى بحجم ~130 مليون، والمشاكل المحتملة مثل المخرجات الضارة.