Исследователь-одиночка представил Wave Field LLM — новую архитектуру базовой модели завершения текста, которая заменяет стандартное O(N²) точечное произведение внимания на FFT-волновую свёртку. Этот подход обеспечивает постоянную скорость и использование памяти во время вывода независимо от длины контекста, позволяя использовать окна контекста 128K, где стандартное внимание обычно не хватает памяти.

  • Сложность обучения снижена до O(N log N), а вывод достигает O(1) на токен.
  • Семейство моделей варьируется от 130M до 1.5B параметров и было обучено с нуля без RLHF или инструктажа тонкой настройки.
  • На процессоре ноутбука Mac модель достигает более 80 токенов в секунду без необходимости использования GPU.
  • Тесты на H100 показывают, что она в 21.8 раза быстрее и использует в 5.3 раза меньше памяти, чем стандартное внимание при контексте 32K.
  • В оценках zero-shot на DCLM CORE модель 130M превзошла GPT-2 124M, набрав средние 46.8% против 26.5%, с значительными улучшениями на PIQA (61.7% против 50.0%) и ARC Easy (43.8% против 25.0%).

Автор ищет независимое тестирование и отзывы о методологии бенчмарков, сравнении качества с другими базовыми моделями ~130M, а также потенциальных проблемах, таких как вредоносные выходные данные.