Seorang peneliti independen telah memperkenalkan Wave Field LLM, arsitektur model dasar penyelesaian baru yang mengganti perhatian hasil titik O(N²) standar dengan konvolusi gelombang FFT. Pendekatan ini memungkinkan kecepatan dan penggunaan memori yang konstan selama inferensi terlepas dari panjang konteks, memungkinkan jendela konteks 128K di mana perhatian standar biasanya kehabisan memori.

  • Kompleksitas pelatihan dikurangi menjadi O(N log N), sementara inferensi mencapai O(1) per token.
  • Keluarga model berkisar dari 130M hingga 1,5 miliar parameter dan dilatih dari awal tanpa RLHF atau penyetelan instruksi.
  • Pada CPU laptop Mac, model mencapai lebih dari 80 token per detik tanpa memerlukan GPU.
  • Benchmark pada H100 menunjukkan bahwa model ini 21,8x lebih cepat dan menggunakan 5,3x lebih sedikit memori daripada perhatian standar pada konteks 32K.
  • Dalam evaluasi zero-shot pada DCLM CORE, model 130M mengungguli GPT-2 124M, dengan skor rata-rata 46,8% dibandingkan 26,5%, dengan peningkatan signifikan pada PIQA (61,7% vs 50,0%) dan ARC Easy (43,8% vs 25,0%).

Penulis mencari pengujian independen dan umpan balik mengenai metodologi benchmark, perbandingan kualitas dengan model dasar ~130M lainnya, serta masalah potensial seperti output berbahaya.