Peneliti mengusulkan Attention Head Reweighting (AHR), metode yang efisien terhadap data yang mengadaptasi model bahasa besar ke tugas klasifikasi teks baru dengan hanya mempelajari satu skalar per kepala perhatian. Pendekatan ini secara drastis mengurangi jumlah parameter yang dapat dilatih, memodifikasi sekitar 0,0001% dari total parameter model.
- AHR memanfaatkan spesialisasi fungsional dari setiap kepala perhatian individual untuk mengadaptasi LLM dengan data minimal.
- Eksperimen pada berbagai dataset klasifikasi teks open-source menunjukkan bahwa AHR melebihi baseline standar seperti LoRA saat belajar dari sampel yang terbatas.
- Metode ini memerlukan 200-1000x lebih sedikit parameter yang dapat dilatih dibandingkan teknik adaptasi yang sebanding.
- Bobot yang dipelajari dapat diinterpretasikan, memungkinkan analisis mekanisme dan kepala perhatian yang bertanggung jawab atas kemampuan pembelajaran dalam konteks.
Para penulis menganggap ini penting karena mengatasi tantangan pembelajaran efektif dari data terbatas di domain seperti keamanan, di mana contoh berlabel sangat langka.