研究人员推出了 ResonatorLM,这是一种新机制,用源自物理学的替代方案取代自注意力,将 token 序列视为受驱一维潜在场。该方法利用阻尼谐振器的因果函数来提高处理长上下文的效率。
在 6M 参数的小型设置中,与在 32K token 上的优化 transformer 相比,该模型的解码速度提升了 6.47 倍。它在 WikiText 上达到了 61.31% 的准确率,优于基线的 55.32%。
ResonatorLM 表明,随着序列长度的增加,用共振场混合取代注意力可以显著提高训练和预填充的加速效果,同时保持具有竞争力的准确率。