一人の研究者が、標準的なO(N²)ドット積アテンションをFFT波畳み込みに置き換える新しい基本補完モデルアーキテクチャであるWave Field LLMを発表した。このアプローチにより、推論時の速度とメモリ使用量がコンテキスト長に関係なく一定となり、標準的なアテンションでは通常メモリ不足になる128Kのコンテキストウィンドウが可能になる。

  • トレーニングの計算量はO(N log N)に削減され、推論はトークンあたりO(1)を達成する。
  • モデルファミリーは130Mから1.5Bパラメータの範囲で、RLHFや指示ファインチューニングなしでゼロから学習された。
  • MacラップトップのCPU上で、GPUを必要とせずに毎秒80トークン以上の推論速度を達成する。
  • H100でのベンチマークでは、32Kコンテキストにおいて標準アテンションより21.8倍高速で、メモリ使用量が5.3倍少ないことが示された。
  • DCLM COREでのゼロショット評価では、130MモデルはGPT-2 124Mを上回り、平均スコアは46.8%対26.5%となり、PIQA（61.7%対50.0%）やARC Easy（43.8%対25.0%）で顕著な向上が見られた。

著者は、ベンチマーク手法に関する独立したテストとフィードバック、他の約130Mベースモデルとの品質比較、有害出力などの潜在的な問題について求めている。