Un chercheur indépendant lance Wave Field LLM, remplaçant l'attention par produit scalaire par une convolution d'onde FFT

Un chercheur indépendant a présenté Wave Field LLM, une nouvelle architecture de modèle de base pour la complétion qui remplace l'attention standard par produit scalaire O(N²) par une convolution d'onde FFT. Cette approche permet une vitesse et une utilisation mémoire constantes lors de l'inférence, indépendamment de la longueur du contexte, permettant des fenêtres de contexte de 128K là où l'attention standard manque généralement de mémoire.

• La complexité d'entraînement est réduite à O(N log N), tandis que l'inférence atteint O(1) par token.
• La famille de modèles varie de 130M à 1,5 milliard de paramètres et a été entraînée从零开始 sans RLHF ni ajustement fin par instruction.
• Sur un CPU d'ordinateur portable Mac, le modèle atteint plus de 80 tokens par seconde sans nécessiter de GPU.
• Les benchmarks sur H100 montrent qu'il est 21,8 fois plus rapide et utilise 5,3 fois moins de mémoire que l'attention standard à un contexte de 32K.
• Dans les évaluations zero-shot sur DCLM CORE, le modèle 130M a surpassé GPT-2 124M, obtenant une moyenne de 46,8 % contre 26,5 %, avec des gains significatifs sur PIQA (61,7 % contre 50,0 %) et ARC Easy (43,8 % contre 25,0 %).

L'auteur recherche des tests indépendants et des retours sur la méthodologie des benchmarks, des comparaisons de qualité avec d'autres modèles de base d'environ 130M, et des problèmes potentiels tels que les sorties nocives.