Исследователи представляют ResonatorLM, новый механизм, который заменяет само-внимание альтернативой, основанной на физике, рассматривающей последовательности токенов как вынужденное одномерное латентное поле. Этот подход использует причинные функции затухающих резонаторов для повышения эффективности обработки длинных контекстов.
В небольшой конфигурации с 6M параметров модель демонстрирует ускорение декодирования в 6.47 раза по сравнению с оптимизированным трансформером на 32K токенов. Она также достигает точности 61.31 процента на WikiText, превосходя базовый уровень в 55.32 процента.
ResonatorLM демонстрирует, что замена внимания на смешение резонансных полей может значительно увеличить ускорение обучения и префилла по мере увеличения длины последовательности, сохраняя при этом конкурентоспособную точность.