研究者らは、自己注意を駆動された1次元潜在場としてトークンシーケンスを扱う物理学由来の代替手法に置き換える新しいメカニズムであるResonatorLMを発表した。このアプローチは減衰共振器の因果関数を用いて、長期コンテキストの処理効率を向上させる。
小さな6Mパラメータ設定において、モデルは32Kトークンで最適化されたトランスフォーマーと比較して6.47倍のデコード速度向上を実現した。また、WikiTextで61.31パーセントの精度を達成し、ベースラインの55.32パーセントを上回った。
ResonatorLMは、シーケンス長が増加するにつれて注意機構を共鳴場混合に置き換えることで、トレーニングとプリフィルの速度向上を大幅に高めながら競争力のある精度を維持できることを示した。