Um pesquisador independente apresentou o Wave Field LLM, uma nova arquitetura de modelo base de preenchimento que substitui a atenção padrão de produto interno O(N²) pela convolução de onda via FFT. Essa abordagem permite velocidade e uso de memória constantes durante a inferência, independentemente do comprimento do contexto, permitindo janelas de contexto de 128K onde a atenção padrão normalmente esgota a memória.

  • A complexidade de treinamento é reduzida para O(N log N), enquanto a inferência alcança O(1) por token.
  • A família de modelos varia de 130M a 1,5B parâmetros e foi treinada do zero sem RLHF ou ajuste fino de instruções.
  • Em uma CPU de laptop Mac, o modelo alcança mais de 80 tokens por segundo sem exigir uma GPU.
  • Benchmarks em H100 mostram que ele é 21,8x mais rápido e usa 5,3x menos memória do que a atenção padrão com contexto de 32K.
  • Em avaliações zero-shot no DCLM CORE, o modelo de 130M superou o GPT-2 124M, obtendo pontuação média de 46,8% contra 26,5%, com ganhos significativos no PIQA (61,7% vs 50,0%) e ARC Easy (43,8% vs 25,0%).

O autor está buscando testes independentes e feedback sobre a metodologia de benchmark, comparações de qualidade com outros modelos base de ~130M e possíveis problemas como saídas prejudiciais.