Peneliti mengusulkan HiLS Attention (Hierarchical Landmark Sparse), sebuah mekanisme sparse per-chunk yang mempelajari pemilihan chunk secara end-to-end di bawah loss pemodelan bahasa untuk mengatasi biaya kuadratik dan ekstrapolasi panjang yang buruk dari attention padat.

  • HiLS memfaktorkan attention secara hierarkis, memungkinkan setiap query mengekstrak informasi spesifik chunk secara independen sebelum menggabungkan output berdasarkan skor pengambilan.
  • Metode ini mengoptimalkan skor pengambilan langsung dengan loss LM, memungkinkan pelatihan sparse asli tanpa pemilihan chunk yang tidak akurat.
  • HiLS-Attention mengekstrapolasikan lebih dari 64 kali panjang konteks pelatihan dengan akurasi pengambilan 90%, mengatasi attention penuh dalam skenario konteks panjang.
  • Model attention penuh yang ada dapat dikonversi ke HiLS-Attention melalui pra-pelatihan lanjutan ringan, mempertahankan performa in-domain sambil mendapatkan kemampuan konteks ultra-panjang.

HiLS-Attention memecah trade-off efisiensi-kinerja biasa dengan menggabungkan akses KV sparse dengan ekstrapolasi superior, memungkinkan LLM konteks panjang yang lebih efisien dan efektif dibandingkan rekan-rekan attention penuhnya.