Un investigador independiente ha presentado Wave Field LLM, una nueva arquitectura de modelo base de finalización que reemplaza la atención estándar de producto punto O(N²) por convolución de ondas FFT. Este enfoque permite velocidad y uso de memoria constantes durante la inferencia independientemente de la longitud del contexto, habilitando ventanas de contexto de 128K donde la atención estándar normalmente se queda sin memoria.

  • La complejidad de entrenamiento se reduce a O(N log N), mientras que la inferencia alcanza O(1) por token.
  • La familia de modelos varía de 130M a 1.5B parámetros y fue entrenada desde cero sin RLHF ni ajuste fino por instrucciones.
  • En una CPU de portátil Mac, el modelo logra más de 80 tokens por segundo sin requerir una GPU.
  • Las pruebas en H100 muestran que es 21.8 veces más rápido y usa 5.3 veces menos memoria que la atención estándar con contexto de 32K.
  • En evaluaciones zero-shot en DCLM CORE, el modelo de 130M superó a GPT-2 124M, obteniendo un promedio de 46.8% frente a 26.5%, con ganancias significativas en PIQA (61.7% vs 50.0%) y ARC Easy (43.8% vs 25.0%).

El autor busca pruebas independientes y comentarios sobre la metodología de benchmarks, comparaciones de calidad con otros modelos base de ~130M, y posibles problemas como salidas dañinas.