Este trabajo aborda el costo cuadrático de la autoatención causal al aislar el efecto del diseño de actualización de estado en un régimen estricto de backbone congelado. Los autores muestran que softmax depende de proyecciones ortogonales de rango 1 dependientes de la clave, explicando por qué las redes estilo delta superan a la acumulación puramente gateada.

  • Identifica una fuente potencial de errores de aproximación e introduce intervenciones estructurales que incluyen tokens sumidero, convoluciones cortas y enrutamiento de caché con presupuesto fijo.
  • Escala el enfoque de linearización en modelos LLaMA y Qwen hasta 32B parámetros.
  • Supera las líneas base post hoc anteriores en MMLU e iguala la recuperación de contexto largo de marcos de caché adaptativo complejos.

El estudio proporciona un método para reducir la brecha de rendimiento en Transformers linearizados mientras se mantiene la eficiencia.