Les chercheurs présentent ResonatorLM, un nouveau mécanisme qui remplace l'auto-attention par une alternative dérivée de la physique traitant les séquences de tokens comme un champ latent unidimensionnel piloté. Cette approche utilise des fonctions causales de résonateurs amortis pour améliorer l'efficacité du traitement des contextes longs.
Dans une configuration réduite à 6M de paramètres, le modèle obtient un gain de vitesse de décodage de 6,47x par rapport à un transformateur optimisé sur 32K tokens. Il atteint également une précision de 61,31 pour cent sur WikiText, surpassant la ligne de base de 55,32 pour cent.
ResonatorLM démontre que remplacer l'attention par un mélange de champs résonants peut augmenter significativement les gains de vitesse d'entraînement et de pré-remplissage à mesure que la longueur de séquence augmente, tout en maintenant une précision compétitive.