Penelitian terbaru mengidentifikasi Super Weights sebagai parameter individu yang penghapusannya menurunkan kinerja model secara signifikan, namun studi ini menunjukkan bahwa melatih parameter spesifik tersebut tidak efektif. Melatih Super Weights secara terisolasi pada OLMo-1B dan OLMo-7B menurunkan akurasi hingga tingkat tebakan acak, bahkan ketika diperluas ke lingkungan lokal hingga 36K parameter.
- Pelatihan Super Weights yang terisolasi menyebabkan runtuhnya kinerja, sedangkan pelatihan sejumlah posisi yang dipilih secara acak meningkatkan baseline.
- LoRA vanilla berhasil dengan hanya 0,16% parameter dengan memperbarui setiap posisi dalam matriks bobot perhatian melalui struktur rank rendah.
- Menerapkan pembaruan rank rendah yang sama pada lapisan down_proj juga berhasil, sementara membatasi pembaruan LoRA pada koordinat Super Weight menghasilkan hasil yang secara statistik tidak dapat dibedakan dari tebakan acak.
Temuan ini menetapkan bahwa kepentingan parameter tidak menyiratkan kemampuan pelatihan terisolasi dan bahwa fine-tuning yang efektif bergantung pada dekomposisi terstruktur di seluruh lapisan daripada menargetkan bobot individu yang penting.