이 연구는 인과적 자기 주의의 이차 비용을 다루기 위해 엄격한 고정 백본 설정 하에서 상태 업데이트 설계의 영향을 분리합니다. 저자들은 소프트맥스가 키 의존적인 랭크-1 직교 투영에 의존함을 보여줌으로써, 델타 스타일 네트워크가 순수한 게이트 축적보다 우수한 이유를 설명합니다.
- 근사 오차의 잠재적 원인을 식별하고 싱크 토큰, 짧은 컨볼루션, 고정 예산 캐시 라우팅 등의 구조적 개입을 도입합니다.
- LLaMA 및 Qwen 모델에서 32B 파라미터까지 선형화 접근 방식을 확장합니다.
- MMLU에서 기존 사후 기준선을 능가하고 복잡한 적응적 캐싱 프레임워크의 긴 문맥 검색 성능과 동등합니다.
이 연구는 효율성을 유지하면서 선형화된 Transformer의 성능 격차를 줄이는 방법을 제공합니다.