La linéarisation des Transformers pilotée par l'analyse réduit les erreurs d'approximation dans LLaMA et Qwen

Ce travail traite du coût quadratique de l'attention causale en isolant l'effet de la conception de la mise à jour de l'état dans un régime de backbone strictement figé. Les auteurs montrent que le softmax repose sur des projections orthogonales de rang 1 dépendantes des clés, expliquant pourquoi les réseaux de type delta surpassent l'accumulation purement par gâchette.

• Identifie une source potentielle d'erreurs d'approximation et introduit des interventions structurelles incluant les tokens puits, les convolutions courtes et le routage de cache à budget fixe.
• Met à l'échelle l'approche de linéarisation sur les modèles LLaMA et Qwen jusqu'à 32 milliards de paramètres.
• Surpasse les références post hoc antérieures sur MMLU et égale la récupération de contexte long des frameworks de mise en cache adaptative complexes.

L'étude fournit une méthode pour réduire l'écart de performance dans les Transformers linéarisés tout en maintenant l'efficacité.