Pesquisadores apresentam o ResonatorLM, um novo mecanismo que substitui a autoatenção por uma alternativa derivada da física que trata sequências de tokens como um campo latente unidimensional acionado. Esta abordagem usa funções causais de ressonadores amortecidos para melhorar a eficiência no processamento de contextos longos.
Em uma configuração pequena de 6M parâmetros, o modelo alcança uma aceleração de decodificação de 6.47x em comparação com um transformer otimizado em 32K tokens. Ele também atinge 61,31 por cento de precisão no WikiText, superando a linha de base de 55,32 por cento.
O ResonatorLM demonstra que substituir a atenção pela mistura de campos ressonantes pode aumentar significativamente as acelerações de treinamento e prefill à medida que o comprimento da sequência aumenta, mantendo uma precisão competitiva.