Peneliti mengusulkan Super, sebuah metode fine-tuning parameter-efficient yang sparse yang memperbaiki support trainable kecil menggunakan skor magnitude berbobot aktivasi gaya Wanda yang dihitung dari calibration pass. Mereka juga memperkenalkan Supra, sebuah adapter hibrida yang menggabungkan pembaruan sparse ini dengan LoRA sambil mempertahankan anggaran parameter trainable yang cocok melalui aturan pembagian anggaran sederhana.
- Super menggunakan support tetap yang dipilih oleh skor magnitude berbobot aktivasi gaya Wanda.
- Supra menggabungkan pembaruan sparse dengan LoRA menggunakan aturan pembagian anggaran.
- Dalam eksperimen Math17K pada Llama-3.2-1B dan Meta-Llama-3-8B, varian Super/Supra mencapai akurasi rata-rata tertinggi di antara konfigurasi adapter yang dipilih jadwal yang diuji.
- Support magnitude-only gaya PaFi berfungsi sebagai baseline sparse tanpa pelatihan.
Hasilnya menunjukkan bahwa pengurutan sederhana yang terinspirasi dari pruning dapat menyediakan support sparse tetap yang berguna untuk PEFT, terutama ketika digabungkan dengan adapter low-rank.