Este trabalho aborda o custo quadrático da autoatenção causal ao isolar o efeito do design de atualização de estado em um regime estrito de backbone congelado. Os autores mostram que o softmax depende de projeções ortogonais de posto 1 dependentes da chave, explicando por que as redes estilo delta superam a acumulação puramente gateada.
- Identifica uma fonte potencial de erros de aproximação e introduz intervenções estruturais incluindo tokens sink, convoluções curtas e roteamento de cache com orçamento fixo.
- Escala a abordagem de linearização em modelos LLaMA e Qwen até 32B parâmetros.
- Supera as linhas de base post hoc anteriores no MMLU e iguala a recuperação de contexto longo de frameworks de cache adaptativo complexos.
O estudo fornece um método para reduzir a lacuna de desempenho em Transformers linearizados enquanto mantém a eficiência.