Los investigadores presentan ResonatorLM, un nuevo mecanismo que reemplaza la autoatención con una alternativa derivada de la física que trata las secuencias de tokens como un campo latente unidimensional impulsado. Este enfoque utiliza funciones causales de resonadores amortiguados para mejorar la eficiencia en el procesamiento de contextos largos.
En una configuración pequeña de 6M parámetros, el modelo logra una aceleración de decodificación de 6.47x en comparación con un transformador optimizado a 32K tokens. También alcanza una precisión del 61.31 por ciento en WikiText, superando al punto de referencia del 55.32 por ciento.
ResonatorLM demuestra que reemplazar la atención con mezcla de campos resonantes puede aumentar significativamente las aceleraciones de entrenamiento y prellenado a medida que aumenta la longitud de la secuencia, manteniendo una precisión competitiva.