Данная работа решает проблему квадратичной стоимости каузального самовнимания, изолируя эффект от дизайна обновления состояния в строгом режиме с замороженным остовом. Авторы показывают, что softmax опирается на зависящие от ключа ортогональные проекции ранга 1, объясняя, почему сети дельта-стиля превосходят чистое накопление через гейты.
- Выявляется потенциальный источник ошибок аппроксимации и вводятся структурные вмешательства, включая токены-стоки, короткие свёртки и маршрутизацию кэша с фиксированным бюджетом.
- Линейизация масштабируется на модели LLaMA и Qwen до 32B параметров.
- Превосходит предыдущие пост-хок базовые линии по MMLU и соответствует извлечению длинного контекста сложных адаптивных кэширующих фреймворков.
Исследование предоставляет метод снижения разрыва в производительности линейизированных трансформеров при сохранении эффективности.