Karya ini mengatasi biaya kuadratik dari perhatian kausal dengan mengisolasi efek desain pembaruan keadaan dalam rezim backbone beku yang ketat. Penulis menunjukkan bahwa softmax bergantung pada proyeksi ortogonal rank-1 yang bergantung pada kunci, menjelaskan mengapa jaringan gaya delta lebih unggul daripada akumulasi gerbang murni.

  • Mengidentifikasi sumber potensial kesalahan aproksimasi dan memperkenalkan intervensi struktural termasuk token tenggelam, konvolusi pendek, dan rute kaching anggaran tetap.
  • Menskalakan pendekatan linearisasi pada model LLaMA dan Qwen hingga 32 miliar parameter.
  • Mengungguli baseline pasca-hoc sebelumnya pada MMLU dan menyamai pengambilan konteks panjang dari kerangka kerja caching adaptif kompleks.

Studi ini menyediakan metode untuk mengurangi kesenjangan kinerja dalam Transformer yang dilinearkan sambil mempertahankan efisiensi.