这项工作通过在一个严格的冻结骨干网体制中隔离状态更新设计的效果，解决了因果自注意力的二次方成本问题。作者表明softmax依赖于键相关的秩1正交投影，解释了为什么delta风格网络优于纯门控累积。

  • 识别了近似误差的一个潜在来源，并引入了包括sink tokens、短卷积和固定预算缓存路由在内的结构干预。
  • 将线性化方法扩展到LLaMA和Qwen模型，参数规模高达32B。
  • 在MMLU上优于先前的事后基线，并匹配复杂自适应缓存框架的长上下文检索能力。

该研究提供了一种在保持效率的同时减少线性化Transformer性能差距的方法。