一位独立研究人员推出了Wave Field LLM，这是一种新的基础补全模型架构，它用FFT波卷积取代了标准的O(N²)点积注意力。该方法使得推理过程中的速度和内存使用量保持恒定，与上下文长度无关，从而实现了128K的上下文窗口，而标准注意力机制通常在此时会耗尽内存。

  • 训练复杂度降低至O(N log N)，而推理每token达到O(1)。
  • 模型家族参数规模从1.3亿到15亿不等，且完全从头开始训练，未经过RLHF或指令微调。
  • 在Mac笔记本CPU上，该模型无需GPU即可实现每秒超过80个token的处理速度。
  • 在H100上的基准测试显示，在32K上下文长度下，其速度比标准注意力快21.8倍，内存使用量减少5.3倍。
  • 在DCLM CORE的零样本评估中，1.3亿参数模型优于GPT-2 1.24亿参数模型，平均得分46.8%，而后者为26.5%，在PIQA（61.7% vs 50.0%）和ARC Easy（43.8% vs 25.0%）上均有显著提升。

作者正在寻求独立的测试以及对基准测试方法、与其他约1.3亿参数基础模型的质量比较以及潜在问题（如有害输出）的反馈。